# 第19课教师讲稿｜RAG检索改进：保留编号，合并候选，再核对适用性 **60分钟，v6完整课程新版。** 对应网站原课《RAG 进阶①：为什么查不准，怎么查准》。按网站主题顺序，以先预测、看见过程、实际操作、独立完成为课堂主线，旧版保留。 ## 本课只追一个问题 同一个故障编号，为什么相似资料会排在前面，怎样让最终证据更准确？ 学生留下三项成果：用材料解释问题；改变一个条件并保存变化；在新材料上独立核对结论。教师不以术语代替成果，也不把界面出现结果当成理解。 ## 课前准备与投影安排 先打开实验，检查标题“两个检索名单合成一份可核验候选”与按钮“计算并查看过程”。输入区默认材料应与下面一致。教师先运行一遍并对照答案，随后恢复默认值；上课先投影输入区，学生完成预测后再展示输出，独立期间不展开答案文件。 实验性质：**本地真实关键词计分、互补候选合并与排名计算；语义排名为给定教学输入**。教师原样读出，让学生知道究竟做过什么。浏览器过程能复算，不等于现实服务接受请求、模型完成训练、论文系统被复现或学习效果得到验证。 准备学生工作纸、参考答案和可保存文字的本地文档。每人建“原先预测、实际观察、依据、修订”四栏，预测不得覆盖。电脑出错可同桌共用，轮流操作者和核查者，两人分别交记录。完全不能运行则用同一材料手算或卡片重放，注明人工后备，不冒称已运行。 ### 可直接使用的材料 A【现行R-204/E31】：服务台重置校园卡。B【现行R-204/E13】：联系网络支持。C【旧版R-204/E31】：重装旧客户端。D【现行通用】：检查账号。给定语义排名为B、A、D，这是教学输入。关键词由查询中空格分开的词进行原文包含匹配，命中一项加一；同分按字母序。RRF每路贡献1/(60+名次)，缺席为0。 以下数字、文档与输出均为本课程原创教学样例，不是真实产品测试或学生资料。 原查询：R-204门卡进不去，屏幕E31，怎么办？A【现行R-204/E31】：去服务台重置校园卡。B【现行R-204/E13】：联系网络支持。C【旧版R-204/E31】：重装旧客户端。D【现行通用】：登录前检查账号。教师预设关键词排名A,C,B；语义排名B,A,D。假设文本H：E31可能要重装客户端。排名与H为模拟输入，不是真实检索输出。 ### 板书不一次写满 左边写原始材料与问题，中间分“输入／动作／中间证据”，右边留“能说什么／还不能说什么”。换材料先擦掉上一题结论，保留方法。公式、数字或字段出现前，先用材料说明它指什么。学生只答术语时，请他回到原文、计算或状态，教师据此判断是否需要停留。 ## 0—5分钟：从搜到了却不能用开始 “你搜索一个错误码，第一条标题几乎一样，但里面一个数字不同，还能照做吗？”把E31与E13放大，学生先找差别。问题含精确编号与自然语言描述，检索要同时关照；词义相近并不自动满足硬条件。今天不讨论哪个搜索工具最好，而是拿一套看得见的候选名单，观察增加一条检索路径和过滤旧版分别解决什么。 ## 5—11分钟：先保住查询里的硬条件 请学生把R-204、E31、现行圈成三个不可改动的条件。“改写是帮助找资料，不是替用户改故障。”将‘门卡进不去’换成门禁失败可能保持意思，但把E31换成E13已经变题。现场先给每个词一个解释：设备或房间对象、错误码、适用版本。关键词本地计分用空格分词与包含判断，学生要知道它不会理解同义词，也没有自动纠错。 ## 11—17分钟：先手算一条路径，再看另一条路径 逐文档数完整查询词命中数，A三项、B对象与现行等。这里每词同权是课堂规则，不是BM25实现；真实关键词方法可有词频、文档长度等因素。给定语义名单只是模拟另一种候选来源，页面不会运行向量模型。让学生比较两名单都出现的A和B与只在一边的文档，理解合并增加候选覆盖并不保证答案更准确。 ## 17—24分钟：运行合并，读懂每个名次 默认运行后指着关键词名次和语义名次，不先读总分。RRF把每路较靠前名次转成小贡献再加起来；先以A计算两项，解释60是本实验固定平滑常数，非自然定律。总分只作排序，不能说0.0325就是3.25%正确。学生记录去重前出现次数与去重后的独立文档数，防止把两个检索器找到同一来源当两份独立证据。 ## 24—31分钟：过滤旧版与重排不是同一种动作 关掉旧版过滤，让C重新进入列表，再打开观察它消失。“C文字非常像问题，但是版本明确不适用。我们不是因为它分数低就叫它旧版，而是原文有旧版标签。”随后只把错误码改成E13，让学生重新核对最终使用哪份。若仍背诵服务台，说明他记了教师结论，没有遵循当前问题。最终答复须由当前文档内容支持，不能只报第一名。 ## 31—37分钟：实际用AI核对候选是否支持 把完整候选与原问题发送给可用工具，要求逐份给适用理由。学生保存输出并特别查编号有无被改写。若工具给一个听起来合理的新步骤，必须问来源在哪，不把其推测加入已确认原文。无账号学生按同样表格人工评审，真实完成的是证据比对。假设文档可用于构造检索线索的研究路线，但假设没有因此成为事实，最终仍需回原始资料。 ## 37—49分钟：独立换成终端T-7 Q3用T-7与E52，学生先锁定对象、编号和版本，再合并两路、去重、过滤、读原文。教师只问P2的编号与题目是否相同，不直接说哪张应排第一。让每个排除都附材料里的理由，不接受“感觉不相关”。假设H说重置密码时，必须说明它处在哪个层次；把它写进最终答案前需要独立原文支持。 ## 49—55分钟：讲评从检索名单回到最终主张 讲评时先把候选合并结果写出，再逐条看哪个文档支持处理步骤。学生排序与参考不同但最终选用精确现行证据、理由清楚，应区分排序规则差异与事实错误。若数据不足以比较真实算法，不做性能排名。明确本地关键词计分和RRF确实运行，语义名单只是输入；这条证据边界必须在作业里出现，避免混合名称听起来高级就默认所有环节都真实实现。 ## 55—58分钟：为自己的资料设计检索测试题 让学生写一个含课程代码或设备编号的查询，一个用日常说法表达同一需求的查询。记录哪些条件不得变化，准备一份旧版干扰与一份编号相近干扰，再观察检索是否把适用资料带回来。无需现在大量建库，先把评测题设计清楚。若缺真实来源只能作为测试设计，不能把自己编的文件说成学校官方规定。 ## 58—60分钟：离堂交查询到证据的短链 每人交原查询、两名单、过滤理由、最终证据与答复。最后问：“排第一是否已经等于可以照做？”用本课C旧版或B错误码不同作例证，说明还需检查什么。学生能指出哪一步出错就能提出针对修复，比笼统写检索要更智能更有用。 ## Q2B：真实AI工具操作（课堂内约6分钟） 1. 使用自己已经可用的AI对话工具，新建对话。 2. 完整复制下方提示及材料并发送，保存实际显示的工具/模型名称、日期、原始提示与完整回复。不反复改写后只保留最好的一次。 3. 逐项回查来源，把准确、待核验和无依据内容分别标出；保存修订稿，不覆盖原始输出。 4. 若工具不可用：用同一材料自己完成任务，再由同桌按来源核查，注明“人工后备，未调用模型”。不在此课临时购买服务。 ```text 请只核对证据，不改动设备及错误编号。问题：R-204门卡进不去，屏幕E31，按现行说明怎么办？候选A【现行R-204/E31】：服务台重置校园卡。B【现行R-204/E13】：联系网络支持。C【旧版R-204/E31】：重装旧客户端。D【现行通用】：检查账号。逐份列是否适用及原因，再用适用文档给答复。另写一个便于搜索的查询，必须保留R-204、E31、现行，不把假设处理步骤写成已确认事实。 ``` 记录：实际使用的工具____；原始输出保存位置____；至少一条已核验结论____；来源____；未确认信息____。 ## 课后备课参考：把演示中的每一步讲完整 用于教师备课与独立任务结束后复核，不在预测前投影。 ### 锁定对象与错误码 本步结果：R-204、E31；需求为现行处理步骤。原因：不把E31与E13合并。 ### 合并两路候选并去重 本步结果：A、C、B、D，共4份。原因：重复A/B不增加独立证据份数。 ### 先过滤已明确旧版 本步结果：排除C，保留A/B/D共3份。原因：状态判断来自材料标签。 ### 按内容支持度重排 本步结果：A最直接；B错误码不同，D过于通用。原因：手工排序解释而非未经运行的模型分数。 ### 给来源与改写 本步结果：据A去服务台重置校园卡；改写保留R-204/E31/现行；H不作证据。原因：查到步骤不表示已执行重置。 ## 常见误解与追问 **学生可能说：“多路命中次数越多就越真实”** 核对与修订：需要去重、版本与内容核验。 **学生可能说：“两个搜索分数能直接相加”** 核对与修订：量纲和标定可能不同，需定义融合办法。 **学生可能说：“HyDE生成的内容已经是答案”** 核对与修订：它是检索线索，最终要回到真实文档。 ## 独立题讲评完整参考 先收取Q3原稿，再使用：合并为P3/P1/P2/P4，共4份；去掉旧版P3后3份。P1精确支持当前T-7/E52处理：校准终端时间。P2为E25，P4通用。改写例“查询现行T-7终端E52故障的处理说明”。H只是检索辅助假设，其重置密码不能直接作为结论。 迁移参考：独立文档只有2篇，而且都不能确认现行处理；不能因两路重复命中就说四份现行证据。 ## 时间不够与课后扩展 60分钟优先保证完整默认过程、控制条件变化、独立任务与离堂解释。较慢时缩短分享人数，保留每人独立判断，不用教师答案替代学生操作。延伸：用同一小测试集分别运行关键词、向量与混合检索，记录候选与排名，再选择一种可用重排器比较；索引与部署另排课。扩展不计入60分钟，不作为没有编程或额外账号学生的必交要求。 ## 教师的概念核验备课卡 下列定义沿用已经核对的v5概念材料，供备课时校准术语；课堂先按上面的新实验与通俗讲解展开，不要求学生抄定义。 ### 先分析查询需要什么匹配 查询有时同时包含自然语言意图和精确标识。语义相近有助于连接不同表达，但房间号、错误码、型号或版本的一字之差可能对应完全不同规则。应先标出不能随意改写的字段，再决定查什么内容。查错不一定因为模型不聪明，也可能因为查询把关键条件丢了。课堂使用编号和错误码，不是让学生背某种检索器必胜，而是说明匹配需求不同。 结合材料：R-204门禁E31与E13不是同一个故障，不能把数字视为无关细节。 适用边界：不能推断向量检索一定认不出代码，或关键词检索一定完全准确。 ### 多路召回增加候选覆盖 关键词检索可利用字面词或标识，语义检索可利用表示中的近似关系；两者可以提供互补候选。合并结果时先去除重复文档，同时保留各路来源，便于看谁补到了什么。不同系统分数往往意义和尺度不同，不能把一个0.8与另一个12直接相加当作可靠总分。课堂给出预设排名，不宣称运行过BM25或嵌入模型，只模拟候选如何进入下一阶段。 结合材料：关键词候选A、C、B；语义候选B、A、D；合并去重为A、C、B、D。 适用边界：召回更多也会带入噪声，文档总量增加不等于质量提高。 ### 过滤和重排解决不同问题 过滤判断是否满足硬条件，例如是否现行、是否属于目标房间；重排比较符合条件的候选中谁最直接回答问题。过滤错了可能把关键证据提前删掉，重排再好也找不回被排除内容。课堂把规则写成先状态再对象再问题支持度，让学生能解释每次排序，而不是凭标题感觉。实际系统也可能把步骤组合或采用学习模型，本课手工流程只展示各职责。 结合材料：旧版C即使字面完全匹配也先排除；现行A比错误码不同的B更直接。 适用边界：相关但旧版不能作为当前规则；排名第一也需要阅读内容核验。 ### 改写查询保持原意与硬条件 查询改写可以补充同义表达、拆开复合问题或明确要查的操作类型，但不能替用户更改事实。把“门卡进不去”展开成门禁无法通过有助匹配；把E31误改成E13则改变了任务。每次改写应保存原问题并对照实体、数字和时间。若用户问题含歧义，系统可以给出待确认项，而不是凭猜测选择一个故障。 结合材料：保留R-204与E31，改为“查现行R-204门禁报E31时的处理步骤”。 适用边界：改写不是为了写得更漂亮，必须对检索目标有可检查帮助。 ### 假设文档不是证据 HyDE等路线先生成一个假设回答或文档，再利用它构造检索表示，帮助找到真实文档。这里的假设内容可以包含不真实细节，其角色是搜索线索而不是可引用事实。最终回答必须回到实际取回的可靠资料，并避免把假设步骤混进证据区。是否有帮助要用测试集比较，不能只因检索结果看起来丰富就认定提升。核心课理解数据流即可，不必搭完整系统。 结合材料：假设文本说可能重装软件，真实现行文档写校准时间，应依据后者而非假设。 适用边界：并不存在假设文本天生无法泄露进最终回答的保证，需要明确隔离与核验。 ## 实验实现与易混细节的进一步讲解 本页关键词对空格分开的完整词做包含匹配，每个词命中记1分，同分按字母序。默认查询同时含现行，因此B虽错误码不同仍会命中对象与现行；C虽编号正确却是旧版，也会得到一些分。这正是需要继续阅读来源的原因。这个计分不是BM25，也不能理解“门卡坏了”与“门禁失败”的同义关系。 RRF的用途是把来自不同检索通路的名次转成可相加的贡献，而不是直接相加无法比较的原始分数。若一份资料只在一路出现，另一路贡献为零；若两路都排靠前，合并分一般更高。页面给定语义名单不随查询重新计算，这是为了让第二路可复核的教学限制。学生更改查询后必须注意，这次没有真实语义检索器同步理解新问题。 默认关键词计分由本地代码实际产生；补充演示里的关键词与语义排名是教师预设的另一组材料，不应拿它们替换默认代码结果。两组材料都说明合并、去重、过滤与核对的次序，但排序数字来自不同条件。教师若只保留一个演示，优先使用可运行默认值，预设排序留作独立手算练习。 假设文档H可以把某种可能答案写成检索辅助文本，却没有原始来源资格。最终现行说明若与H不同，应按适用原文核对，不能为维护原先假设强行解释。实际工作中应保存查询改写、各路候选和最终引用，让后来的人看得见是哪一步引入错误，而不是只保存一条最终回答。 ## 课堂口头演练：让误解能被具体观察纠正 如果学生问“RRF为什么是60”，教师说明这是本例固定的排序常数，课堂重点在每路名次怎样产生贡献。改常数可以成为后续敏感性实验，但需要用相同候选和题目比较，不在当前独立题里悄悄改变规则。不能把一个默认数解释成所有任务最佳参数。 让学生试一次只输入E31的查询，先预测哪些文档能关键词命中，再看A与C都可能出现。字词匹配解决了编号线索，却没有自动解决版本适用，这时现行过滤的意义更直观。随后恢复原查询再做独立题，记录里标清哪一次条件改变，不把多次结果拼成不存在的一次运行。 若模型核对候选时把重置校园卡说成重置密码，请学生对照A和B中动作对象。两种动作在口语中都像重置，但本次资料只支持特定步骤。指出动作对象与错误码一样需要精确保留。学生交付不仅有候选编号，还要有最终答复中哪个动词、哪个对象受到原文支持。 ## 来源与边界 [AIPath对应课](https://aipath.buynao.com/#/lesson/rag-advanced-retrieval)提供主题定位。以下用于核对定义和研究范围，课堂数字、活动、房间、轨迹都是原创练习，不是产品性能数据。 - [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401)：核对检索内容增强生成的范式；原论文包含可训练部件，不说一切RAG永远不训练。 - [Precise Zero-Shot Dense Retrieval without Relevance Labels](https://arxiv.org/abs/2212.10496)：核对假设文档用于检索的路线；假设文本不是事实证据。 实际检查以QA为准；尚未真人试教，课堂节奏根据学生表现调整。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 引导并检查：找E31与E13差别。 | 完成“找E31与E13差别”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：找E31与E13差别。记录应与当前材料、当前输入或实际返回一致。 | | 01:00—02:00 | 引导并检查：写编号为何不能模糊替换。 | 完成“写编号为何不能模糊替换”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：写编号为何不能模糊替换。记录应与当前材料、当前输入或实际返回一致。 | | 02:00—03:00 | 引导并检查：预测首条相关能否照做。 | 完成“预测首条相关能否照做”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：预测首条相关能否照做。记录应与当前材料、当前输入或实际返回一致。 | | 03:00—04:00 | 引导并检查：说明当前无实际设备动作。 | 完成“说明当前无实际设备动作”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：说明当前无实际设备动作。记录应与当前材料、当前输入或实际返回一致。 | | 04:00—05:00 | 引导并检查：写需要现行处理步骤。 | 完成“写需要现行处理步骤”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：写需要现行处理步骤。记录应与当前材料、当前输入或实际返回一致。 | | 05:00—06:00 | 引导并检查：圈查询R-204。 | 完成“圈查询R-204”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：圈查询R-204。记录应与当前材料、当前输入或实际返回一致。 | | 06:00—07:00 | 引导并检查：圈查询E31。 | 完成“圈查询E31”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：圈查询E31。记录应与当前材料、当前输入或实际返回一致。 | | 07:00—08:00 | 引导并检查：圈查询现行。 | 完成“圈查询现行”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：圈查询现行。记录应与当前材料、当前输入或实际返回一致。 | | 08:00—09:00 | 引导并检查：分开对象编号版本。 | 完成“分开对象编号版本”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：分开对象编号版本。记录应与当前材料、当前输入或实际返回一致。 | | 09:00—10:00 | 引导并检查：写保留编号的查询改写。 | 完成“写保留编号的查询改写”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：写保留编号的查询改写。记录应与当前材料、当前输入或实际返回一致。 | | 10:00—11:00 | 引导并检查：说明空格分词的限制。 | 完成“说明空格分词的限制”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：说明空格分词的限制。记录应与当前材料、当前输入或实际返回一致。 | | 11:00—12:00 | 引导并检查：手数A关键词命中。 | 完成“手数A关键词命中”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：手数A关键词命中。记录应与当前材料、当前输入或实际返回一致。 | | 12:00—13:00 | 引导并检查：手数B关键词命中。 | 完成“手数B关键词命中”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：手数B关键词命中。记录应与当前材料、当前输入或实际返回一致。 | | 13:00—14:00 | 引导并检查：手数C关键词命中。 | 完成“手数C关键词命中”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：手数C关键词命中。记录应与当前材料、当前输入或实际返回一致。 | | 14:00—15:00 | 引导并检查：按同分字母规则排名。 | 完成“按同分字母规则排名”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：按同分字母规则排名。记录应与当前材料、当前输入或实际返回一致。 | | 15:00—16:00 | 引导并检查：读给定语义名单B A D。 | 完成“读给定语义名单B A D”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：读给定语义名单B A D。记录应与当前材料、当前输入或实际返回一致。 | | 16:00—17:00 | 引导并检查：写它不是模型运行结果。 | 完成“写它不是模型运行结果”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：写它不是模型运行结果。记录应与当前材料、当前输入或实际返回一致。 | | 17:00—18:00 | 引导并检查：运行混合候选。 | 完成“运行混合候选”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：运行混合候选。记录应与当前材料、当前输入或实际返回一致。 | | 18:00—19:00 | 引导并检查：核关键词名次列。 | 完成“核关键词名次列”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：核关键词名次列。记录应与当前材料、当前输入或实际返回一致。 | | 19:00—20:00 | 引导并检查：核语义名次列。 | 完成“核语义名次列”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：核语义名次列。记录应与当前材料、当前输入或实际返回一致。 | | 20:00—21:00 | 引导并检查：算A两项RRF贡献。 | 完成“算A两项RRF贡献”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：算A两项RRF贡献。记录应与当前材料、当前输入或实际返回一致。 | | 21:00—22:00 | 引导并检查：指出缺席一路贡献0。 | 完成“指出缺席一路贡献0”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：指出缺席一路贡献0。记录应与当前材料、当前输入或实际返回一致。 | | 22:00—23:00 | 引导并检查：核去重后文档数。 | 完成“核去重后文档数”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：核去重后文档数。记录应与当前材料、当前输入或实际返回一致。 | | 23:00—24:00 | 引导并检查：说明分数不是正确概率。 | 完成“说明分数不是正确概率”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：说明分数不是正确概率。记录应与当前材料、当前输入或实际返回一致。 | | 24:00—25:00 | 引导并检查：关闭旧版过滤。 | 完成“关闭旧版过滤”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：关闭旧版过滤。记录应与当前材料、当前输入或实际返回一致。 | | 25:00—26:00 | 引导并检查：找重新出现的C。 | 完成“找重新出现的C”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：找重新出现的C。记录应与当前材料、当前输入或实际返回一致。 | | 26:00—27:00 | 引导并检查：恢复过滤并写标签理由。 | 完成“恢复过滤并写标签理由”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：恢复过滤并写标签理由。记录应与当前材料、当前输入或实际返回一致。 | | 27:00—28:00 | 引导并检查：只改错误码E13。 | 完成“只改错误码E13”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：只改错误码E13。记录应与当前材料、当前输入或实际返回一致。 | | 28:00—29:00 | 引导并检查：改关键词模式看排名。 | 完成“改关键词模式看排名”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：改关键词模式看排名。记录应与当前材料、当前输入或实际返回一致。 | | 29:00—30:00 | 引导并检查：重新读当前适用原文。 | 完成“重新读当前适用原文”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：重新读当前适用原文。记录应与当前材料、当前输入或实际返回一致。 | | 30:00—31:00 | 引导并检查：保存查询改变证据。 | 完成“保存查询改变证据”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：保存查询改变证据。记录应与当前材料、当前输入或实际返回一致。 | | 31:00—32:00 | 引导并检查：发送候选核对提示或人工后备。 | 完成“发送候选核对提示或人工后备”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：发送候选核对提示或人工后备。记录应与当前材料、当前输入或实际返回一致。 | | 32:00—33:00 | 引导并检查：保存模型逐份理由。 | 完成“保存模型逐份理由”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：保存模型逐份理由。记录应与当前材料、当前输入或实际返回一致。 | | 33:00—34:00 | 引导并检查：检查是否改动编号。 | 完成“检查是否改动编号”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：检查是否改动编号。记录应与当前材料、当前输入或实际返回一致。 | | 34:00—35:00 | 引导并检查：检查是否补写处理动作。 | 完成“检查是否补写处理动作”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：检查是否补写处理动作。记录应与当前材料、当前输入或实际返回一致。 | | 35:00—36:00 | 引导并检查：说明假设H不是来源。 | 完成“说明假设H不是来源”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：说明假设H不是来源。记录应与当前材料、当前输入或实际返回一致。 | | 36:00—37:00 | 引导并检查：保留最终证据。 | 完成“保留最终证据”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：保留最终证据。记录应与当前材料、当前输入或实际返回一致。 | | 37:00—38:00 | 独立段只提示任务、不提前给结论：读独立T-7 E52问题。 | 完成“读独立T-7 E52问题”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：读独立T-7 E52问题。记录应与当前材料、当前输入或实际返回一致。 | | 38:00—39:00 | 独立段只提示任务、不提前给结论：圈三个硬条件。 | 完成“圈三个硬条件”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：圈三个硬条件。记录应与当前材料、当前输入或实际返回一致。 | | 39:00—40:00 | 独立段只提示任务、不提前给结论：抄关键词排名。 | 完成“抄关键词排名”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：抄关键词排名。记录应与当前材料、当前输入或实际返回一致。 | | 40:00—41:00 | 独立段只提示任务、不提前给结论：抄语义排名。 | 完成“抄语义排名”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：抄语义排名。记录应与当前材料、当前输入或实际返回一致。 | | 41:00—42:00 | 独立段只提示任务、不提前给结论：合并去重。 | 完成“合并去重”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：合并去重。记录应与当前材料、当前输入或实际返回一致。 | | 42:00—43:00 | 独立段只提示任务、不提前给结论：标每份来自哪路。 | 完成“标每份来自哪路”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：标每份来自哪路。记录应与当前材料、当前输入或实际返回一致。 | | 43:00—44:00 | 独立段只提示任务、不提前给结论：排除已明确旧版。 | 完成“排除已明确旧版”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：排除已明确旧版。记录应与当前材料、当前输入或实际返回一致。 | | 44:00—45:00 | 独立段只提示任务、不提前给结论：比对P1与P2编号。 | 完成“比对P1与P2编号”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：比对P1与P2编号。记录应与当前材料、当前输入或实际返回一致。 | | 45:00—46:00 | 独立段只提示任务、不提前给结论：解释P4通用程度。 | 完成“解释P4通用程度”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：解释P4通用程度。记录应与当前材料、当前输入或实际返回一致。 | | 46:00—47:00 | 独立段只提示任务、不提前给结论：写保留编号的查询。 | 完成“写保留编号的查询”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：写保留编号的查询。记录应与当前材料、当前输入或实际返回一致。 | | 47:00—48:00 | 独立段只提示任务、不提前给结论：写带来源的处理答复。 | 完成“写带来源的处理答复”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：写带来源的处理答复。记录应与当前材料、当前输入或实际返回一致。 | | 48:00—49:00 | 独立段只提示任务、不提前给结论：说明H不能直接作为结论。 | 完成“说明H不能直接作为结论”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：说明H不能直接作为结论。记录应与当前材料、当前输入或实际返回一致。 | | 49:00—50:00 | 引导并检查：核合并与去重数量。 | 完成“核合并与去重数量”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：核合并与去重数量。记录应与当前材料、当前输入或实际返回一致。 | | 50:00—51:00 | 引导并检查：对照精确支持文档。 | 完成“对照精确支持文档”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：对照精确支持文档。记录应与当前材料、当前输入或实际返回一致。 | | 51:00—52:00 | 引导并检查：检查最终结论未串入演示。 | 完成“检查最终结论未串入演示”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：检查最终结论未串入演示。记录应与当前材料、当前输入或实际返回一致。 | | 52:00—53:00 | 引导并检查：区分排序差异与事实错误。 | 完成“区分排序差异与事实错误”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：区分排序差异与事实错误。记录应与当前材料、当前输入或实际返回一致。 | | 53:00—54:00 | 引导并检查：注明语义排名预设。 | 完成“注明语义排名预设”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：注明语义排名预设。记录应与当前材料、当前输入或实际返回一致。 | | 54:00—55:00 | 引导并检查：保存修订过程。 | 完成“保存修订过程”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：保存修订过程。记录应与当前材料、当前输入或实际返回一致。 | | 55:00—56:00 | 引导并检查：读迁移查询材料。 | 完成“读迁移查询材料”，把结果写入Q4，需要计算时保留中间一步，需要来源时写编号。 | Q4中可核查：读迁移查询材料。记录应与当前材料、当前输入或实际返回一致。 | | 56:00—57:00 | 引导并检查：写一条精确编号查询。 | 完成“写一条精确编号查询”，把结果写入Q4，需要计算时保留中间一步，需要来源时写编号。 | Q4中可核查：写一条精确编号查询。记录应与当前材料、当前输入或实际返回一致。 | | 57:00—58:00 | 引导并检查：写一条同义需求及硬条件。 | 完成“写一条同义需求及硬条件”，把结果写入Q4，需要计算时保留中间一步，需要来源时写编号。 | Q4中可核查：写一条同义需求及硬条件。记录应与当前材料、当前输入或实际返回一致。 | | 58:00—59:00 | 引导并检查：用候选反例回答首条能否照做。 | 完成“用候选反例回答首条能否照做”，把结果写入Q5，需要计算时保留中间一步，需要来源时写编号。 | Q5中可核查：用候选反例回答首条能否照做。记录应与当前材料、当前输入或实际返回一致。 | | 59:00—60:00 | 引导并检查：交查询排名过滤最终引用。 | 完成“交查询排名过滤最终引用”，把结果写入Q5，需要计算时保留中间一步，需要来源时写编号。 | Q5中可核查：交查询排名过滤最终引用。记录应与当前材料、当前输入或实际返回一致。 | --- # 第19课教师参考与评分｜RAG检索改进：保留编号，合并候选，再核对适用性 学生完成独立任务后使用。预测猜错不扣分，评分看观察、依据和修订。 ## Q0 接受原有认识，记录是否提出可观察证据，不要求初次猜测与结论一致。 ## Q1：默认实验 默认材料：A【现行R-204/E31】：服务台重置校园卡。B【现行R-204/E13】：联系网络支持。C【旧版R-204/E31】：重装旧客户端。D【现行通用】：检查账号。给定语义排名为B、A、D，这是教学输入。关键词由查询中空格分开的词进行原文包含匹配，命中一项加一；同分按字母序。RRF每路贡献1/(60+名次)，缺席为0。 中间一步：先检查A、B各命中查询中的哪些完整词，再手算A在关键词第一、语义第二时的RRF两项。 程序关键结果：候选顺序：A、B、D；0.032522；已过滤。边界：本地真实关键词计分、互补候选合并与排名计算；语义排名为给定教学输入。 ## Q2：改变条件 查询和合并方式不变，先关闭旧版过滤再打开；然后仅把E31改成E13，比较直接支持结论的文档是否改变。 本题的变化参考： 默认合并并过滤后顺序A、B、D；关闭过滤出现C。查询改E13且关键词模式时B排首位，但最终仍须读现行B原文。RRF分数不是事实概率，给定语义名单未由模型计算。 ## Q3：独立参考 合并为P3/P1/P2/P4，共4份；去掉旧版P3后3份。P1精确支持当前T-7/E52处理：校准终端时间。P2为E25，P4通用。改写例“查询现行T-7终端E52故障的处理说明”。H只是检索辅助假设，其重置密码不能直接作为结论。 先读条件，再查来源或中间算式，最后比较结论。答案碰巧一致但缺必要证据，不给足依据分。措辞不同而条件完整应接受。 ## Q4：迁移参考 独立文档只有2篇，而且都不能确认现行处理；不能因两路重复命中就说四份现行证据。 ## Q5：离堂核验 合格回答回应“同一个故障编号，为什么相似资料会排在前面，怎样让最终证据更准确？”，并指向Q1或Q2一次实际观察。只复述名词或产品名不足。 ## 10分评分 | 项目 | 分值 | 可观察标准 | |---|---:|---| | Q0原始预测与Q1观察分开 | 1 | 留下初稿，猜错不扣分，修订有依据 | | Q1中间过程 | 2 | 1分定位输入或原文，1分完成可复核判断 | | Q2控制条件 | 2 | 1分只改指定条件，1分描述前后证据 | | Q3独立任务 | 3 | 1分选对适用材料，1分过程正确，1分结论与未知处理 | | Q4迁移 | 1 | 新材料下保持条件与来源对应 | | Q5边界与交付 | 1 | 可复现记录，诚实区分本地、人工、外部输出 | 建议达到7分且Q3至少2分后继续综合任务；这是教师建议，未经过真人试教验证。