第15课教师参考与评分|模型规模与测量:多花资源究竟换来什么
学生完成独立任务后使用。预测猜错不扣分,评分看观察、依据和修订。
Q0
接受原有认识,记录是否提出可观察证据,不要求初次猜测与结论一致。
Q1:默认实验
默认材料:X为N2、D12、损失1.6、短题6/10、长题4/10;Y为N4、D6、损失1.5、短题5/10、长题7/10;Z为N8、D3、损失1.7、短题6/10、长题5/10。小中大系统四题的正确步骤数分别2/2/1/3、3/3/2/3、4/4/3/4。
中间一步:先手算X的预算2×12,再算小系统已完成步骤2+2+1+3,占四题共16步多少。
程序关键结果:候选:Y;68.75%。边界:本地真实预算与评分计算;数据为原创教学数据,非产品跑分。
Q2:改变条件
保持预算24,把比较指标由平均损失改成长题,再改成短题;原始步骤记录不动,把部分分改成整题全对。
本题的变化参考:
平均损失与长题指标均选Y,短题X与Z并列。预算23时三配置都不满足。部分分为50%、68.75%、93.75%;全对率为0%、0%、75%。原始步骤没有变,变的是评分。
Q3:独立参考
预算均24。损失Y最低;给定长题Y为7/10最高;短题X与Z均6/10并列高于Y。没有唯一全指标领先者;仍需更多测试样本、任务分布、实际推理成本/速度、重复测试等,不把虚构指标当产品数据。
先读条件,再查来源或中间算式,最后比较结论。答案碰巧一致但缺必要证据,不给足依据分。措辞不同而条件完整应接受。
Q4:迁移参考
两版全对率都0/3,但步骤得分由5/9升6/9;可观察到部分进步,仍不能由该小例证明广泛能力提升。
Q5:离堂核验
合格回答回应“预算相同时,哪种配置更适合指定任务,评分方式为什么会改变看起来的进步?”,并指向Q1或Q2一次实际观察。只复述名词或产品名不足。
10分评分
| 项目 | 分值 | 可观察标准 |
|---|---|---|
| Q0原始预测与Q1观察分开 | 1 | 留下初稿,猜错不扣分,修订有依据 |
| Q1中间过程 | 2 | 1分定位输入或原文,1分完成可复核判断 |
| Q2控制条件 | 2 | 1分只改指定条件,1分描述前后证据 |
| Q3独立任务 | 3 | 1分选对适用材料,1分过程正确,1分结论与未知处理 |
| Q4迁移 | 1 | 新材料下保持条件与来源对应 |
| Q5边界与交付 | 1 | 可复现记录,诚实区分本地、人工、外部输出 |
建议达到7分且Q3至少2分后继续综合任务;这是教师建议,未经过真人试教验证。