第 19 课 · RAG检索改进:保留编号,合并候选,再核对适用性

答案与判分

先完成学生工作纸并保留原始作答,再用本页核对。真实工具输出以核验标准评价。

第19课教师参考与评分|RAG检索改进:保留编号,合并候选,再核对适用性

学生完成独立任务后使用。预测猜错不扣分,评分看观察、依据和修订。

Q0

接受原有认识,记录是否提出可观察证据,不要求初次猜测与结论一致。

Q1:默认实验

默认材料:A【现行R-204/E31】:服务台重置校园卡。B【现行R-204/E13】:联系网络支持。C【旧版R-204/E31】:重装旧客户端。D【现行通用】:检查账号。给定语义排名为B、A、D,这是教学输入。关键词由查询中空格分开的词进行原文包含匹配,命中一项加一;同分按字母序。RRF每路贡献1/(60+名次),缺席为0。

中间一步:先检查A、B各命中查询中的哪些完整词,再手算A在关键词第一、语义第二时的RRF两项。

程序关键结果:候选顺序:A、B、D;0.032522;已过滤。边界:本地真实关键词计分、互补候选合并与排名计算;语义排名为给定教学输入。

Q2:改变条件

查询和合并方式不变,先关闭旧版过滤再打开;然后仅把E31改成E13,比较直接支持结论的文档是否改变。

本题的变化参考:

默认合并并过滤后顺序A、B、D;关闭过滤出现C。查询改E13且关键词模式时B排首位,但最终仍须读现行B原文。RRF分数不是事实概率,给定语义名单未由模型计算。

Q3:独立参考

合并为P3/P1/P2/P4,共4份;去掉旧版P3后3份。P1精确支持当前T-7/E52处理:校准终端时间。P2为E25,P4通用。改写例“查询现行T-7终端E52故障的处理说明”。H只是检索辅助假设,其重置密码不能直接作为结论。

先读条件,再查来源或中间算式,最后比较结论。答案碰巧一致但缺必要证据,不给足依据分。措辞不同而条件完整应接受。

Q4:迁移参考

独立文档只有2篇,而且都不能确认现行处理;不能因两路重复命中就说四份现行证据。

Q5:离堂核验

合格回答回应“同一个故障编号,为什么相似资料会排在前面,怎样让最终证据更准确?”,并指向Q1或Q2一次实际观察。只复述名词或产品名不足。

10分评分

项目 分值 可观察标准
Q0原始预测与Q1观察分开 1 留下初稿,猜错不扣分,修订有依据
Q1中间过程 2 1分定位输入或原文,1分完成可复核判断
Q2控制条件 2 1分只改指定条件,1分描述前后证据
Q3独立任务 3 1分选对适用材料,1分过程正确,1分结论与未知处理
Q4迁移 1 新材料下保持条件与来源对应
Q5边界与交付 1 可复现记录,诚实区分本地、人工、外部输出

建议达到7分且Q3至少2分后继续综合任务;这是教师建议,未经过真人试教验证。