# 第20课教师讲稿｜RAG切块与评测：答案碰巧正确，证据是否齐全 **60分钟，v6完整课程新版。** 对应网站原课《RAG 进阶②：切得好，量得出》。按网站主题顺序，以先预测、看见过程、实际操作、独立完成为课堂主线，旧版保留。 ## 本课只追一个问题 把规则拆成小段后，怎样量出一次回答找全了哪些必要证据？ 学生留下三项成果：用材料解释问题；改变一个条件并保存变化；在新材料上独立核对结论。教师不以术语代替成果，也不把界面出现结果当成理解。 ## 课前准备与投影安排 先打开实验，检查标题“改变切块大小，检查三道题的证据”与按钮“计算并查看过程”。输入区默认材料应与下面一致。教师先运行一遍并对照答案，随后恢复默认值；上课先投影输入区，学生完成预测后再展示输出，独立期间不展开答案文件。 实验性质：**本地真实切块、取块与集合覆盖计算；答案轨迹为给定课堂材料**。教师原样读出，让学生知道究竟做过什么。浏览器过程能复算，不等于现实服务接受请求、模型完成训练、论文系统被复现或学习效果得到验证。 准备学生工作纸、参考答案和可保存文字的本地文档。每人建“原先预测、实际观察、依据、修订”四栏，预测不得覆盖。电脑出错可同桌共用，轮流操作者和核查者，两人分别交记录。完全不能运行则用同一材料手算或卡片重放，注明人工后备，不冒称已运行。 ### 可直接使用的材料 P1：A室普通工作日17:00—19:00，每组最多4人。P2：考试周暂停开放。P3：本次考试周9月21—25日。三个原文段按P1/P2/P3固定顺序切块。当前检索器总是先命中含P1的块，这是公开的教学限制；可补后续相邻块。Q1必要证据{P1}，Q2必要证据{P1,P2,P3}，Q3全库未说明投影。 以下数字、文档与输出均为本课程原创教学样例，不是真实产品测试或学生资料。 P1：A室普通工作日17:00—19:00，每组最多4人。P2：考试周暂停。P3：本次考试周为9月21—25日。Q1普通工作日几点关门？必要证据{P1}。Q2本次9月22日能否开放？必要证据{P1,P2,P3}。Q3有投影吗？本库无答案。轨迹A：Q1取P1答19点；Q2仅P1答开放；Q3取P1答有投影。轨迹B：Q1取P1答19点；Q2取P1/P2/P3答考试周暂停；Q3取P1答未说明。均为教师预设，不是运行结果。 ### 板书不一次写满 左边写原始材料与问题，中间分“输入／动作／中间证据”，右边留“能说什么／还不能说什么”。换材料先擦掉上一题结论，保留方法。公式、数字或字段出现前，先用材料说明它指什么。学生只答术语时，请他回到原文、计算或状态，教师据此判断是否需要停留。 ## 0—5分钟：先看一条被切开的例外 “如果纸条上只写普通工作日开放，你能回答考试周里的某一天吗？”先把P1展示，再揭P2与P3，学生观察新增信息究竟补了规则还是日期。切块的动机是把资料变成可查找片段，但切得短可能让主规则与例外分开。今天不背固定块长度，而是检查：对当前问题必须同时看哪些内容，取回的材料是否覆盖了它们。 ## 5—11分钟：切块是一种有后果的整理方式 把三段原文按顺序排好，一段一盒与三段一盒各画一次。大的块把关系保住，但可能带进更多无关文字；小块比较聚焦，却可能丢掉限制关系。不能根据这三段就宣布大块永远最好。页面中的每块段数只控制这个微型库，不对应现实token长度；也没有使用语义模型判断断句。学生先用纸盒图预测，再运行程序检查取回了多少段。 ## 11—17分钟：先定义答案需要什么，再统计 Q1只问普通工作日几点关，按本题评测规则P1足够。Q2问9月22日，需普通规则、考试周例外以及具体日期范围。Q3问投影，整库都未说明。教师逐项说明这三类题的不同，不能给无答案题造一个空证据集合再宣布100%召回。评价前先定必要集合与无答案状态，才能在改变系统后用同一把尺子比较。 ## 17—24分钟：运行时把取回名单抄全 当前检索限制为先命中含P1的块，不假装它真的理解问题。默认每块1段且不补邻块，只取P1。让学生在取回名单下写Q2仍缺哪些信息，而不是只读覆盖数字。程序用集合比较真实计算覆盖，最终文字回答并未生成。这样可以把检索问题单独暴露，避免语言写得流畅就掩盖中间资料不足。 ## 24—31分钟：两种修改可能得到同样材料 先把块变大，再用小块加邻块，两条路径可能取回相同P1/P2/P3。请学生记录修改方式与最终材料总量；相同答案不意味着处理过程相同。对于更长文档，邻块可能仍不包含远处的例外或日期，所以该策略需要用新题验证。课堂不把三题结果当可靠产品性能提升，只说在这套材料里哪些证据已齐。 ## 31—37分钟：让实际AI暴露有无证据的差异 向工具先提交P1/P2，再补P3，两次完整保存。重点看模型是否在缺日期时承认缺口，以及补日期后是否据此修订。若第一次恰好说暂停，不能因此把缺失证据问题勾成通过：它的结论可能碰巧符合完整库。没有账号则由学生按给定证据写答，教师把可见材料范围隔开，确保后备同样检验依据是否充足。 ## 37—49分钟：独立算三个不同指标 Q3换成B室检修材料，先登记X/Y逐题取回集合与答案。区分按问题算的证据完整率、按最终事实算的正确率、按取回片段算的相关比例。教师让学生每个分数先写单位和分母，不直接报数值。X的某次答案可能与参考一致却缺日期来源，这正是题目要学生识别的状态，不能为了整齐只留下一个总体分。 ## 49—55分钟：讲评把猜对与证据充分拆开 收稿后用X的第二题说明：最终结论碰巧对，是一项记录；缺日期证据，是另一项记录。不同评价标准可以得到不同数值，但必须写清指标名称，不能挑更好看的一个冒充全部质量。无答案题中“未说明”和“不提供”也不能互换。教师要求学生把一处错分修成逐题账本，再从账本汇总，避免直接背分数。 ## 55—58分钟：设计一个小而有用的测试集 请学生为自己的课程手册准备普通规则题、例外题、日期生效题、无答案题各一道，先给每题标原文出处。此时不要求运行复杂RAG平台。评测任务本身有质量：若标准答案也缺证据，系统分数再高也不可靠。新系统改块大小或补邻段时，用同一套题重测并保存原始取回内容。 ## 58—60分钟：离堂让数字带着分母离开 请用本课一次实验完成“我取回了几段，其中本题必要证据有几段，还缺什么”。再写证据齐全是否已经证明生成答案正确。期待学生指出生成仍可能误读，下一步还要按原文核验。记录保留实际块设置，而不是只截图绿色通过标题。 ## Q2B：真实AI工具操作（课堂内约6分钟） 1. 使用自己已经可用的AI对话工具，新建对话。 2. 完整复制下方提示及材料并发送，保存实际显示的工具/模型名称、日期、原始提示与完整回复。不反复改写后只保留最好的一次。 3. 逐项回查来源，把准确、待核验和无依据内容分别标出；保存修订稿，不覆盖原始输出。 4. 若工具不可用：用同一材料自己完成任务，再由同桌按来源核查，注明“人工后备，未调用模型”。不在此课临时购买服务。 ```text 以下是本次唯一可用证据。P1：A室普通工作日17:00—19:00，每组最多4人。P2：考试周暂停。先回答“本次9月22日是否开放”，若缺日期范围请明确指出，不要猜。保存这次原始输出后，再补充P3：本次考试周为9月21—25日。请重新作答并写出新增证据如何改变可支持的结论。最后回答是否有投影，资料未提供时写未说明。 ``` 记录：实际使用的工具____；原始输出保存位置____；至少一条已核验结论____；来源____；未确认信息____。 ## 课后备课参考：把演示中的每一步讲完整 用于教师备课与独立任务结束后复核，不在预测前投影。 ### 确认切分风险和必要集合 本步结果：P2例外与P3日期共同限定P1，Q2需三段。原因：按本测试规则共同读三段。 ### 逐题登记取回证据 本步结果：A的Q2只得1/3必要段；B得3/3。原因：记录原始集合再汇总。 ### 算可回答题证据完整率 本步结果：A为1/2，B为2/2。原因：Q3无答案，不用0/0做召回。 ### 分开算答案正确率 本步结果：A为1/3，B为3/3；Q3分别补写与保留未知。原因：生成评价覆盖全部三题。 ### 提出可检验的修复 本步结果：命中规则时补例外/日期邻段，再用同一三题重测。原因：没有真实重测前只能说方案，不能写已提升。 ## 常见误解与追问 **学生可能说：“所有资料切一样长最好”** 核对与修订：依据结构、问题与检索评价调整。 **学生可能说：“答案正确证明检索正确”** 核对与修订：可能猜中，需查必要证据是否完整。 **学生可能说：“无答案题都算检索召回零”** 核对与修订：要定义独立未知检查，避免无意义0/0。 ## 独立题讲评完整参考 先收取Q3原稿，再使用：可回答题2题。X证据完整1/2，Y2/2；X的Q2最终结论与完整库一致但缺R3日期支持，必须备注“答案碰巧符合参考，取回证据不足”。按最终结论计X为2/3（Q3未说明不能写不提供），Y3/3；若按有完整支持的回答计，X仅1/3，Y3/3，指标名称不可混淆。四候选中相关3/4=75%，这不是按问题计算的完整率。 迁移参考：Q3现在可回答，必要证据含R4；答案不提供电脑。可回答题分母变成3，必须用新资料版本重新计算，不能沿用旧百分比。 ## 时间不够与课后扩展 60分钟优先保证完整默认过程、控制条件变化、独立任务与离堂解释。较慢时缩短分享人数，保留每人独立判断，不用教师答案替代学生操作。延伸：在小型真实索引上比较两种切分/补邻段方案，固定题集记录检索与答案两层结果；自动评价器需要人工抽查，工程规模化另排时间。扩展不计入60分钟，不作为没有编程或额外账号学生的必交要求。 ## 教师的概念核验备课卡 下列定义沿用已经核对的v5概念材料，供备课时校准术语；课堂先按上面的新实验与通俗讲解展开，不要求学生抄定义。 ### 切分服务于信息使用 文档分段是为了让检索和模型输入更容易处理，但切分单位不应只由字数决定。一个规则的前半句、限制条件和例外可能相隔很近，若只给模型其中一段，答案可能失去适用边界。先识别问题需要的最小证据，再比较段落切法，会比背一个固定长度更有意义。文本结构、表格和标题也提供边界线索，不同资料通常需要不同处理。 结合材料：“平时开放至19点”和下一段“考试周暂停”应保持可联合找回。 适用边界：不存在适合全部文档的固定最佳字符数或重叠长度。 ### 找回关系比保存长短更关键 重叠、邻段补取、父子文档和语义分段都是保护关联信息的可选方法。重叠会重复一些内容以减少边界损失，邻段补取在命中后加附近文本，父子结构可先精确定位小块再带回较完整背景。它们各自增加存储、上下文或处理成本。课堂先在三段资料上比较哪些证据能一起送入，不把一种方法当作所有场景的唯一答案。 结合材料：命中P1后补P2/P3，可以恢复考试周例外和日期。 适用边界：被切成两块不代表任何系统都绝不可能同时找回两块。 ### 先定义正确证据再统计 评价检索前要为问题列清楚所需证据，可以由人工阅读小库建立参考。若一个问题必须联合三个段落，只查到一个不能叫证据完整，即使它包含很多相关词。分子、分母和统计单位要先写好：本课定义“有答案问题中，完整取得必要证据集合的题数比例”。它不同于按文档计的召回率，也不能把无答案题强行塞进零分母。 结合材料：Q1需P1，Q2需P1/P2/P3，两题为可回答集；Q3设备未知单独检查。 适用边界：参考集合也可能标错，应允许人工复核和更新。 ### 检索和生成分开评分 取回了全部必要资料，模型仍可能算错、忽略例外或补写；资料没有取全时，也可能碰巧猜对。因此同时记录每题取回哪些段、是否足够、回答是否有支持，能避免只看最后答案掩盖问题。题目很少时，分数只是教学演示而非产品能力结论。比较两个方案要固定问题与参考，不能甲方案用简单题、乙方案用难题。 结合材料：同样取P1回答设备问题，写未知与写有投影，检索相同而答案质量不同。 适用边界：不能从三道题的分数宣布通用检索器或模型排名。 ### 无答案题检验拒绝补写 资料库不可能回答所有问题，测试集应包含材料明确没有提供的信息。对于这种题，正确行为是指出缺少哪类依据，避免凭常识补一个看似合理的答案。无答案检测不等于每次没有命中就宣布世界上不存在；可能只是本库覆盖不够。扩充有效新资料后，状态可以改变，因此评价必须同时记录资料版本和问题范围。 结合材料：库只写开放规则，问投影设备应答未说明，而不是一定没有或肯定有。 适用边界：本库无答案和现实中事实不存在不是同一件事。 ## 实验实现与易混细节的进一步讲解 本页切块单位是原始段落，不是字符或Token。每块1段会得到三块，每块2段会得到P1/P2一块与P3一块，每块3段只有一块。检索器固定先命中含P1的块，补邻块只向后取，最多取到文档末尾。学生能够数出实际取回的段，程序没有把不存在的第四块补成空白证据。 必要证据完整是一个按题判断的指标：有全部指定段才算完整，不是把1/3覆盖当成三分之一道完整题。完整率的分母只包含本测试定义的可回答题；无答案题另看是否保留未知。相关片段比例则按片段计，和按题计不是同一单位。课堂里用小集合画勾比直接背英文指标缩写更有帮助。 补齐P1/P2/P3只是让回答有机会正确，并不保证模型会正确应用日期范围。若生成阶段忽略P2，它可能取全资料仍答开放。相反只取P1/P2却答暂停，也可能是猜到了。检索证据、最后答案和是否有充分支持需要分栏记录，不能用一列绿色成功掩盖不同错误。 真实RAG评测应使用更多有代表性的任务和人工核验过的参考。三题是教会计量方式，不是证明某种块大小在学校所有文档上最优。学生可以设计第四题检验人数限制，再看已有设置是否仍能取足材料；设计好题后才实际运行并记录，不把预期改进写成已取得成绩。 ## 课堂口头演练：让误解能被具体观察纠正 学生问：“取回三段不是一定比一段好吗？”教师先限定这次Q2，三段确实覆盖必要关系；再看Q1，它只问关闭时间，额外两段没有新增本题必要证据。若以后材料更多，冗余可能增加阅读和生成负担，不能只追求取回越多越好。好的比较应看覆盖、相关性、答案和成本各自的变化。 学生说：“X最后答暂停，所以检索没问题。”教师让他指出本次日期属于检修日的证据在哪张已取回卡中。若没有日期卡，结论即使碰巧与全库一致，来源支持仍不够。请他改写成“结论与参考一致，但当前取回资料缺日期依据”，让两个事实并存，而不把它们压成一个成功标签。 学生问：“那是否所有答案都需要全部资料？”教师说：“必要集合来自具体问题。Q1和Q2的集合不同，不能统一要求所有文档；无答案题也不是把资料取完就自动生成新事实。”再请学生为人数问题自行标必要卡，说明为什么这次不需要日期范围。这一步检验他是否理解评测由问题驱动。 邻块补取到文档末尾就停止，允许补两块不代表一定存在两块。用每块两段验证实际只有两个块，再数最终取回的原始段。区分块数、段数与题数，也是避免评价分母混乱的一项实操检查。 ## 来源与边界 [AIPath对应课](https://aipath.buynao.com/#/lesson/rag-chunking-and-eval)提供主题定位。以下用于核对定义和研究范围，课堂数字、活动、房间、轨迹都是原创练习，不是产品性能数据。 - [Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks](https://arxiv.org/abs/2005.11401)：核对检索内容增强生成的范式；原论文包含可训练部件，不说一切RAG永远不训练。 实际检查以QA为准；尚未真人试教，课堂节奏根据学生表现调整。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 引导并检查：读P1能回答什么。 | 完成“读P1能回答什么”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：读P1能回答什么。记录应与当前材料、当前输入或实际返回一致。 | | 01:00—02:00 | 引导并检查：加入P2看例外。 | 完成“加入P2看例外”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：加入P2看例外。记录应与当前材料、当前输入或实际返回一致。 | | 02:00—03:00 | 引导并检查：加入P3看日期限定。 | 完成“加入P3看日期限定”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：加入P3看日期限定。记录应与当前材料、当前输入或实际返回一致。 | | 03:00—04:00 | 引导并检查：写只取主规则的风险。 | 完成“写只取主规则的风险”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：写只取主规则的风险。记录应与当前材料、当前输入或实际返回一致。 | | 04:00—05:00 | 引导并检查：说明课堂切块单位。 | 完成“说明课堂切块单位”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：说明课堂切块单位。记录应与当前材料、当前输入或实际返回一致。 | | 05:00—06:00 | 引导并检查：把三段画三个盒。 | 完成“把三段画三个盒”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：把三段画三个盒。记录应与当前材料、当前输入或实际返回一致。 | | 06:00—07:00 | 引导并检查：把三段画一个盒。 | 完成“把三段画一个盒”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：把三段画一个盒。记录应与当前材料、当前输入或实际返回一致。 | | 07:00—08:00 | 引导并检查：列小块可能漏的关系。 | 完成“列小块可能漏的关系”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：列小块可能漏的关系。记录应与当前材料、当前输入或实际返回一致。 | | 08:00—09:00 | 引导并检查：列大块可能带的无关信息。 | 完成“列大块可能带的无关信息”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：列大块可能带的无关信息。记录应与当前材料、当前输入或实际返回一致。 | | 09:00—10:00 | 引导并检查：说明检索器固定先中P1。 | 完成“说明检索器固定先中P1”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：说明检索器固定先中P1。记录应与当前材料、当前输入或实际返回一致。 | | 10:00—11:00 | 引导并检查：预测补邻块效果。 | 完成“预测补邻块效果”，把结果写入Q0，需要计算时保留中间一步，需要来源时写编号。 | Q0中可核查：预测补邻块效果。记录应与当前材料、当前输入或实际返回一致。 | | 11:00—12:00 | 引导并检查：给Q1标必要集合。 | 完成“给Q1标必要集合”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：给Q1标必要集合。记录应与当前材料、当前输入或实际返回一致。 | | 12:00—13:00 | 引导并检查：给Q2标必要集合。 | 完成“给Q2标必要集合”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：给Q2标必要集合。记录应与当前材料、当前输入或实际返回一致。 | | 13:00—14:00 | 引导并检查：给Q3标无答案。 | 完成“给Q3标无答案”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：给Q3标无答案。记录应与当前材料、当前输入或实际返回一致。 | | 14:00—15:00 | 引导并检查：解释无答案不用0除0。 | 完成“解释无答案不用0除0”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：解释无答案不用0除0。记录应与当前材料、当前输入或实际返回一致。 | | 15:00—16:00 | 引导并检查：手圈Q2缺失盒。 | 完成“手圈Q2缺失盒”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：手圈Q2缺失盒。记录应与当前材料、当前输入或实际返回一致。 | | 16:00—17:00 | 引导并检查：保存初始预测。 | 完成“保存初始预测”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：保存初始预测。记录应与当前材料、当前输入或实际返回一致。 | | 17:00—18:00 | 引导并检查：默认运行小块不补。 | 完成“默认运行小块不补”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：默认运行小块不补。记录应与当前材料、当前输入或实际返回一致。 | | 18:00—19:00 | 引导并检查：抄取回P编号。 | 完成“抄取回P编号”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：抄取回P编号。记录应与当前材料、当前输入或实际返回一致。 | | 19:00—20:00 | 引导并检查：核覆盖分子分母。 | 完成“核覆盖分子分母”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：核覆盖分子分母。记录应与当前材料、当前输入或实际返回一致。 | | 20:00—21:00 | 引导并检查：写Q2仍缺什么。 | 完成“写Q2仍缺什么”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：写Q2仍缺什么。记录应与当前材料、当前输入或实际返回一致。 | | 21:00—22:00 | 引导并检查：说明没有实际生成答案。 | 完成“说明没有实际生成答案”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：说明没有实际生成答案。记录应与当前材料、当前输入或实际返回一致。 | | 22:00—23:00 | 引导并检查：按原文复核缺日期影响。 | 完成“按原文复核缺日期影响”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：按原文复核缺日期影响。记录应与当前材料、当前输入或实际返回一致。 | | 23:00—24:00 | 引导并检查：保存默认设置。 | 完成“保存默认设置”，把结果写入Q1，需要计算时保留中间一步，需要来源时写编号。 | Q1中可核查：保存默认设置。记录应与当前材料、当前输入或实际返回一致。 | | 24:00—25:00 | 引导并检查：只将每块1改3。 | 完成“只将每块1改3”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：只将每块1改3。记录应与当前材料、当前输入或实际返回一致。 | | 25:00—26:00 | 引导并检查：核取回段数。 | 完成“核取回段数”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：核取回段数。记录应与当前材料、当前输入或实际返回一致。 | | 26:00—27:00 | 引导并检查：恢复1段。 | 完成“恢复1段”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：恢复1段。记录应与当前材料、当前输入或实际返回一致。 | | 27:00—28:00 | 引导并检查：仅把邻块0改2。 | 完成“仅把邻块0改2”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：仅把邻块0改2。记录应与当前材料、当前输入或实际返回一致。 | | 28:00—29:00 | 引导并检查：比较两路线最终材料。 | 完成“比较两路线最终材料”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：比较两路线最终材料。记录应与当前材料、当前输入或实际返回一致。 | | 29:00—30:00 | 引导并检查：切Q3观察不适用。 | 完成“切Q3观察不适用”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：切Q3观察不适用。记录应与当前材料、当前输入或实际返回一致。 | | 30:00—31:00 | 引导并检查：保存不能保证生成正确的说明。 | 完成“保存不能保证生成正确的说明”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：保存不能保证生成正确的说明。记录应与当前材料、当前输入或实际返回一致。 | | 31:00—32:00 | 引导并检查：AI先收P1 P2或人工后备。 | 完成“AI先收P1 P2或人工后备”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：AI先收P1 P2或人工后备。记录应与当前材料、当前输入或实际返回一致。 | | 32:00—33:00 | 引导并检查：保存缺日期时答复。 | 完成“保存缺日期时答复”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：保存缺日期时答复。记录应与当前材料、当前输入或实际返回一致。 | | 33:00—34:00 | 引导并检查：再补P3保存修订。 | 完成“再补P3保存修订”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：再补P3保存修订。记录应与当前材料、当前输入或实际返回一致。 | | 34:00—35:00 | 引导并检查：查第一答是否无据猜对。 | 完成“查第一答是否无据猜对”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：查第一答是否无据猜对。记录应与当前材料、当前输入或实际返回一致。 | | 35:00—36:00 | 引导并检查：问投影并保留未知。 | 完成“问投影并保留未知”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：问投影并保留未知。记录应与当前材料、当前输入或实际返回一致。 | | 36:00—37:00 | 引导并检查：记录实际调用范围。 | 完成“记录实际调用范围”，把结果写入Q2，需要计算时保留中间一步，需要来源时写编号。 | Q2中可核查：记录实际调用范围。记录应与当前材料、当前输入或实际返回一致。 | | 37:00—38:00 | 独立段只提示任务、不提前给结论：读独立R1 R2 R3。 | 完成“读独立R1 R2 R3”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：读独立R1 R2 R3。记录应与当前材料、当前输入或实际返回一致。 | | 38:00—39:00 | 独立段只提示任务、不提前给结论：给X各题登记证据。 | 完成“给X各题登记证据”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：给X各题登记证据。记录应与当前材料、当前输入或实际返回一致。 | | 39:00—40:00 | 独立段只提示任务、不提前给结论：给Y各题登记证据。 | 完成“给Y各题登记证据”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：给Y各题登记证据。记录应与当前材料、当前输入或实际返回一致。 | | 40:00—41:00 | 独立段只提示任务、不提前给结论：标可回答题分母。 | 完成“标可回答题分母”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：标可回答题分母。记录应与当前材料、当前输入或实际返回一致。 | | 41:00—42:00 | 独立段只提示任务、不提前给结论：独立算完整率。 | 完成“独立算完整率”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：独立算完整率。记录应与当前材料、当前输入或实际返回一致。 | | 42:00—43:00 | 独立段只提示任务、不提前给结论：按最终结论算正确率。 | 完成“按最终结论算正确率”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：按最终结论算正确率。记录应与当前材料、当前输入或实际返回一致。 | | 43:00—44:00 | 独立段只提示任务、不提前给结论：再按有充分支持算。 | 完成“再按有充分支持算”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：再按有充分支持算。记录应与当前材料、当前输入或实际返回一致。 | | 44:00—45:00 | 独立段只提示任务、不提前给结论：解释X第二题缺日期。 | 完成“解释X第二题缺日期”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：解释X第二题缺日期。记录应与当前材料、当前输入或实际返回一致。 | | 45:00—46:00 | 独立段只提示任务、不提前给结论：给无答案设备题判状态。 | 完成“给无答案设备题判状态”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：给无答案设备题判状态。记录应与当前材料、当前输入或实际返回一致。 | | 46:00—47:00 | 独立段只提示任务、不提前给结论：算四片段相关比例。 | 完成“算四片段相关比例”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：算四片段相关比例。记录应与当前材料、当前输入或实际返回一致。 | | 47:00—48:00 | 独立段只提示任务、不提前给结论：检查三个指标单位。 | 完成“检查三个指标单位”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：检查三个指标单位。记录应与当前材料、当前输入或实际返回一致。 | | 48:00—49:00 | 独立段只提示任务、不提前给结论：保存独立账本。 | 完成“保存独立账本”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：保存独立账本。记录应与当前材料、当前输入或实际返回一致。 | | 49:00—50:00 | 引导并检查：对照参考逐题核实。 | 完成“对照参考逐题核实”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：对照参考逐题核实。记录应与当前材料、当前输入或实际返回一致。 | | 50:00—51:00 | 引导并检查：说明碰巧对的原因。 | 完成“说明碰巧对的原因”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：说明碰巧对的原因。记录应与当前材料、当前输入或实际返回一致。 | | 51:00—52:00 | 引导并检查：修正分母或指标名。 | 完成“修正分母或指标名”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：修正分母或指标名。记录应与当前材料、当前输入或实际返回一致。 | | 52:00—53:00 | 引导并检查：区分证据全与答对。 | 完成“区分证据全与答对”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：区分证据全与答对。记录应与当前材料、当前输入或实际返回一致。 | | 53:00—54:00 | 引导并检查：保留原始取回集合。 | 完成“保留原始取回集合”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：保留原始取回集合。记录应与当前材料、当前输入或实际返回一致。 | | 54:00—55:00 | 引导并检查：保存修订表。 | 完成“保存修订表”，把结果写入Q3，需要计算时保留中间一步，需要来源时写编号。 | Q3中可核查：保存修订表。记录应与当前材料、当前输入或实际返回一致。 | | 55:00—56:00 | 引导并检查：读迁移测试材料。 | 完成“读迁移测试材料”，把结果写入Q4，需要计算时保留中间一步，需要来源时写编号。 | Q4中可核查：读迁移测试材料。记录应与当前材料、当前输入或实际返回一致。 | | 56:00—57:00 | 引导并检查：补一题例外或无答案。 | 完成“补一题例外或无答案”，把结果写入Q4，需要计算时保留中间一步，需要来源时写编号。 | Q4中可核查：补一题例外或无答案。记录应与当前材料、当前输入或实际返回一致。 | | 57:00—58:00 | 引导并检查：标该题必要出处。 | 完成“标该题必要出处”，把结果写入Q4，需要计算时保留中间一步，需要来源时写编号。 | Q4中可核查：标该题必要出处。记录应与当前材料、当前输入或实际返回一致。 | | 58:00—59:00 | 引导并检查：用实际块设置说明缺什么。 | 完成“用实际块设置说明缺什么”，把结果写入Q5，需要计算时保留中间一步，需要来源时写编号。 | Q5中可核查：用实际块设置说明缺什么。记录应与当前材料、当前输入或实际返回一致。 | | 59:00—60:00 | 引导并检查：交设置取回集合与指标。 | 完成“交设置取回集合与指标”，把结果写入Q5，需要计算时保留中间一步，需要来源时写编号。 | Q5中可核查：交设置取回集合与指标。记录应与当前材料、当前输入或实际返回一致。 | --- # 第20课教师参考与评分｜RAG切块与评测：答案碰巧正确，证据是否齐全 学生完成独立任务后使用。预测猜错不扣分，评分看观察、依据和修订。 ## Q0 接受原有认识，记录是否提出可观察证据，不要求初次猜测与结论一致。 ## Q1：默认实验 默认材料：P1：A室普通工作日17:00—19:00，每组最多4人。P2：考试周暂停开放。P3：本次考试周9月21—25日。三个原文段按P1/P2/P3固定顺序切块。当前检索器总是先命中含P1的块，这是公开的教学限制；可补后续相邻块。Q1必要证据{P1}，Q2必要证据{P1,P2,P3}，Q3全库未说明投影。 中间一步：先把P1/P2/P3按每块1段画成三个盒子，圈出Q2需要的全部盒子。 程序关键结果：必要证据不齐全；覆盖：1/3；缺失：P2、P3。边界：本地真实切块、取块与集合覆盖计算；答案轨迹为给定课堂材料。 ## Q2：改变条件 Q2和相邻补块0不变，只把每块段数从1变成3；恢复每块1，再把补块0改成2，比较结果材料总量。 本题的变化参考： 每块1、邻块0时Q2只覆盖1/3；每块3或每块1补2邻块时均覆盖3/3。Q3为库中无答案，覆盖不适用；检索证据齐全尚不保证生成正确。 ## Q3：独立参考 可回答题2题。X证据完整1/2，Y2/2；X的Q2最终结论与完整库一致但缺R3日期支持，必须备注“答案碰巧符合参考，取回证据不足”。按最终结论计X为2/3（Q3未说明不能写不提供），Y3/3；若按有完整支持的回答计，X仅1/3，Y3/3，指标名称不可混淆。四候选中相关3/4=75%，这不是按问题计算的完整率。 先读条件，再查来源或中间算式，最后比较结论。答案碰巧一致但缺必要证据，不给足依据分。措辞不同而条件完整应接受。 ## Q4：迁移参考 Q3现在可回答，必要证据含R4；答案不提供电脑。可回答题分母变成3，必须用新资料版本重新计算，不能沿用旧百分比。 ## Q5：离堂核验 合格回答回应“把规则拆成小段后，怎样量出一次回答找全了哪些必要证据？”，并指向Q1或Q2一次实际观察。只复述名词或产品名不足。 ## 10分评分 | 项目 | 分值 | 可观察标准 | |---|---:|---| | Q0原始预测与Q1观察分开 | 1 | 留下初稿，猜错不扣分，修订有依据 | | Q1中间过程 | 2 | 1分定位输入或原文，1分完成可复核判断 | | Q2控制条件 | 2 | 1分只改指定条件，1分描述前后证据 | | Q3独立任务 | 3 | 1分选对适用材料，1分过程正确，1分结论与未知处理 | | Q4迁移 | 1 | 新材料下保持条件与来源对应 | | Q5边界与交付 | 1 | 可复现记录，诚实区分本地、人工、外部输出 | 建议达到7分且Q3至少2分后继续综合任务；这是教师建议，未经过真人试教验证。