第20课教师参考与评分|RAG切块与评测:答案碰巧正确,证据是否齐全
学生完成独立任务后使用。预测猜错不扣分,评分看观察、依据和修订。
Q0
接受原有认识,记录是否提出可观察证据,不要求初次猜测与结论一致。
Q1:默认实验
默认材料:P1:A室普通工作日17:00—19:00,每组最多4人。P2:考试周暂停开放。P3:本次考试周9月21—25日。三个原文段按P1/P2/P3固定顺序切块。当前检索器总是先命中含P1的块,这是公开的教学限制;可补后续相邻块。Q1必要证据{P1},Q2必要证据{P1,P2,P3},Q3全库未说明投影。
中间一步:先把P1/P2/P3按每块1段画成三个盒子,圈出Q2需要的全部盒子。
程序关键结果:必要证据不齐全;覆盖:1/3;缺失:P2、P3。边界:本地真实切块、取块与集合覆盖计算;答案轨迹为给定课堂材料。
Q2:改变条件
Q2和相邻补块0不变,只把每块段数从1变成3;恢复每块1,再把补块0改成2,比较结果材料总量。
本题的变化参考:
每块1、邻块0时Q2只覆盖1/3;每块3或每块1补2邻块时均覆盖3/3。Q3为库中无答案,覆盖不适用;检索证据齐全尚不保证生成正确。
Q3:独立参考
可回答题2题。X证据完整1/2,Y2/2;X的Q2最终结论与完整库一致但缺R3日期支持,必须备注“答案碰巧符合参考,取回证据不足”。按最终结论计X为2/3(Q3未说明不能写不提供),Y3/3;若按有完整支持的回答计,X仅1/3,Y3/3,指标名称不可混淆。四候选中相关3/4=75%,这不是按问题计算的完整率。
先读条件,再查来源或中间算式,最后比较结论。答案碰巧一致但缺必要证据,不给足依据分。措辞不同而条件完整应接受。
Q4:迁移参考
Q3现在可回答,必要证据含R4;答案不提供电脑。可回答题分母变成3,必须用新资料版本重新计算,不能沿用旧百分比。
Q5:离堂核验
合格回答回应“把规则拆成小段后,怎样量出一次回答找全了哪些必要证据?”,并指向Q1或Q2一次实际观察。只复述名词或产品名不足。
10分评分
| 项目 | 分值 | 可观察标准 |
|---|---|---|
| Q0原始预测与Q1观察分开 | 1 | 留下初稿,猜错不扣分,修订有依据 |
| Q1中间过程 | 2 | 1分定位输入或原文,1分完成可复核判断 |
| Q2控制条件 | 2 | 1分只改指定条件,1分描述前后证据 |
| Q3独立任务 | 3 | 1分选对适用材料,1分过程正确,1分结论与未知处理 |
| Q4迁移 | 1 | 新材料下保持条件与来源对应 |
| Q5边界与交付 | 1 | 可复现记录,诚实区分本地、人工、外部输出 |
建议达到7分且Q3至少2分后继续综合任务;这是教师建议,未经过真人试教验证。