第 20 课 · RAG切块与评测:答案碰巧正确,证据是否齐全

学生工作纸

第20课学生工作纸|RAG切块与评测:答案碰巧正确,证据是否齐全

本课60分钟。实验性质:本地真实切块、取块与集合覆盖计算;答案轨迹为给定课堂材料。先作答后看教师答案;预测猜错不扣分。

Q0:先预测(0—11分钟)

把规则拆成小段后,怎样量出一次回答找全了哪些必要证据?

原先判断____;准备观察什么来支持或改变判断____。

完整课堂材料

P1:A室普通工作日17:00—19:00,每组最多4人。P2:考试周暂停开放。P3:本次考试周9月21—25日。三个原文段按P1/P2/P3固定顺序切块。当前检索器总是先命中含P1的块,这是公开的教学限制;可补后续相邻块。Q1必要证据{P1},Q2必要证据{P1,P2,P3},Q3全库未说明投影。

补充演示材料

以下数字、文档与输出均为本课程原创教学样例,不是真实产品测试或学生资料。 P1:A室普通工作日17:00—19:00,每组最多4人。P2:考试周暂停。P3:本次考试周为9月21—25日。Q1普通工作日几点关门?必要证据{P1}。Q2本次9月22日能否开放?必要证据{P1,P2,P3}。Q3有投影吗?本库无答案。轨迹A:Q1取P1答19点;Q2仅P1答开放;Q3取P1答有投影。轨迹B:Q1取P1答19点;Q2取P1/P2/P3答考试周暂停;Q3取P1答未说明。均为教师预设,不是运行结果。

Q1:先手工走一步,再运行(12—24分钟)

先把P1/P2/P3按每块1段画成三个盒子,圈出Q2需要的全部盒子。

按默认设置逐项确认:

  • 每块包含几段原文:1
  • 命中块后补几个相邻块:0
  • 当前问题:q2

点击“计算并查看过程”。记录手算____;页面中间过程____;是否一致及原因____。真正执行了____;未执行____。

Q2:只改一个条件(25—37分钟)

Q2和相邻补块0不变,只把每块段数从1变成3;恢复每块1,再把补块0改成2,比较结果材料总量。

每次运行前写预测,之后另补观察。记录表包含“保持不变的条件|改变的条件|预测|实际结果|可支持的结论”。

Q2B:真实AI工具操作(课堂内约6分钟)

  1. 使用自己已经可用的AI对话工具,新建对话。
  2. 完整复制下方提示及材料并发送,保存实际显示的工具/模型名称、日期、原始提示与完整回复。不反复改写后只保留最好的一次。
  3. 逐项回查来源,把准确、待核验和无依据内容分别标出;保存修订稿,不覆盖原始输出。
  4. 若工具不可用:用同一材料自己完成任务,再由同桌按来源核查,注明“人工后备,未调用模型”。不在此课临时购买服务。
以下是本次唯一可用证据。P1:A室普通工作日17:00—19:00,每组最多4人。P2:考试周暂停。先回答“本次9月22日是否开放”,若缺日期范围请明确指出,不要猜。保存这次原始输出后,再补充P3:本次考试周为9月21—25日。请重新作答并写出新增证据如何改变可支持的结论。最后回答是否有投影,资料未提供时写未说明。

记录:实际使用的工具____;原始输出保存位置____;至少一条已核验结论____;来源____;未确认信息____。

Q3:独立材料任务(38—49分钟)

以下数字、文档与输出均为本课程原创教学样例,不是真实产品测试或学生资料。 R1:B室普通工作日16:00—18:00,每组最多3人。R2:设备检修日暂停开放。R3:本次检修日为10月8—9日。Q1普通工作日几时关闭?参考需{R1}。Q2本次10月8日可开放吗?参考需{R1,R2,R3}。Q3提供电脑吗?无答案。方案X:Q1取R1答18点;Q2取R1/R2答暂停;Q3取R1答不提供电脑。方案Y:Q1取R1答18点;Q2取R1/R2/R3答暂停;Q3取R1答未说明。另有无关N:墙面绿色;若Q2检索R1/R2/R3/N,按本题定义前三段相关。

  1. 给X/Y逐题登记证据完整与答案支持状态。
  2. 计算完整率与按最终事实答案计的正确率,并备注猜对风险。
  3. 计算四候选中相关比例,说明它不同于完整题比例。

先独立保存初稿,再与同桌核对来源。教师在独立段结束后讲评;措辞可不同,材料、条件、计算和结论应相符。

Q4:迁移题(56—58分钟)

文档增加设备事实后,无答案检查怎样变?

以下数字、文档与输出均为本课程原创教学样例,不是真实产品测试或学生资料。 新增R4【现行设备说明】:B室不提供电脑。其余不变;Q3仍问是否提供电脑。

方案或结论____;具体依据____;还不能证明____。

Q5:离堂题(59—60分钟)

把规则拆成小段后,怎样量出一次回答找全了哪些必要证据?

用今天保存的一次真实观察回答,附至少一个中间数值、材料编号或执行状态。另写一个仍需验证的问题。

交付检查

  • Q0原先判断仍在,修订没有覆盖它。
  • Q1和Q2能让同桌按同样输入复现。
  • Q3、Q4使用各自材料,没有串入演示数字。
  • 外部工具保存真实原始输出,否则已注明人工后备。
  • 未把课堂材料、预设轨迹或文字扫描写成产品实测。