第 5 课教师讲稿｜百分之百成绩为什么可能骗过我们？

本课在 AIPath 的第 1 阶段，沿用原课主题“数据为王：训练集、测试集与过拟合”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

学完能做什么

• 能按真实对象切分照片，并识别同对象跨集合与未来信息泄漏。
• 能计算训练与留出正确数，解释为什么同杯满分不足以证明新杯识别能力。
• 能按用途区分训练、验证、最终测试，提出新环境下的独立检查。

贯穿问题：同一只杯子的另一张照片，能代表从未见过的新杯子吗？

课前准备与完整实验材料

教师先在本课页面找到“切分杯子照片并检查记忆捷径”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

这是八条虚构杯子记录的真实切分、编号记忆与逐行计分。没有加载照片。缺口特征是题目直接提供的理想 0/1 字段，不能称为自动视觉提取。

• 照片怎样进入训练与测试（输入框 split）初始为：

leaky

• 预测方法（输入框 strategy）初始为：

memory

运行前遮住分数。默认记忆规则的未知回退固定为 0，不是由测试标签选择。切分变动会重新形成当前训练编号表；方法切换与集合切分要分两轮进行。

0—60 分钟：可以顺着使用的讲稿

0—4 分钟｜先问满分考了什么

教师可以这样说：“今天先给你一个满分演示，但别急着相信。我们的目标是认识没见过的新杯子，不是记住已经见过的杯号。如果考试又出现同一物体的另一张照片，题目表面换了，答案线索可能并没有真正换。”

学生具体动作。 Q1 写“新照片”和“新杯子”可能有哪些差别。

教师在桌边怎样追问。 拍摄角度改变，是否就成了不同物体？

本段要收集的证据。 区分样本行与底层对象。

4—8 分钟｜把八张照片摊开

教师可以这样说：“材料只有四只虚构杯子，每只正面侧面两张。C1、C3 无缺口，C2、C4 有缺口。本页额外提供一个理想缺口特征，它是教学表里的数，不是程序真的看了照片。”

学生具体动作。 Q2 列 C1—C4 及两种视角，圈出同物体关系。

教师在桌边怎样追问。 C1 正面与 C1 侧面怎样确认有关联？

本段要收集的证据。 八条记录按对象连线。

8—12 分钟｜先理解最笨的记忆法

教师可以这样说：“第一种方法记下训练集里的杯号与标签，没见过的杯号固定答零。它没有学会看缺口。这个固定回退规则必须提前说明，否则遇到新杯子时随意补答案，会让比较失去意义。”

学生具体动作。 手算同杯切分时 C2 侧面的查询过程。

教师在桌边怎样追问。 程序查到的是视觉规律还是一个编号对应表？

本段要收集的证据。 记忆表与回退规则写清。

12—16 分钟｜猜分数再运行

教师可以这样说：“默认把每只正面训练、侧面测试。先逐杯手算记忆法是否能查到答案，再运行看“跨集合重复杯号”。即使显示全对，也得问这个分数回答的是哪一个目标。”

学生具体动作。 Q2 预测默认训练与测试正确数，再运行。

教师在桌边怎样追问。 测试中有多少杯号训练时已经见过？

本段要收集的证据。 分数旁写重复杯号而非只写百分比。

16—20 分钟｜真正按对象分开

教师可以这样说：“只把切分改为 C1/C2 训练、C3/C4 测试。先不要换预测方法。现在程序遇到未见杯号，只能执行预先约定的默认零。看分数变化时同时看哪些记录被移走，不能只截最后一行。”

学生具体动作。 Q3 只改切分，记录测试每张预测与未见杯号数量。

教师在桌边怎样追问。 C4 的错误来自哪条回退规则？

本段要收集的证据。 对象隔离与具体错行的联系。

20—24 分钟｜满分不能代替问题定义

教师可以这样说：“原来的满分并非计算器算错，而是那场比较不足以支撑“能认新杯子”。评价要和将来用途对齐：新照片、新对象、新环境分别可能需要不同的隔离方式。”

学生具体动作。 写默认满分支持什么、不支持什么。

教师在桌边怎样追问。 如果业务只处理同一组已登记杯子，目标会如何不同？

本段要收集的证据。 结论包含明确目标范围。

24—28 分钟｜用理想特征作对照

教师可以这样说：“现在把方法改为看缺口值。它在表上可能表现更好，但这里的缺口特征完美可得，是我们刻意简化的条件。真实图像怎样提取可靠特征，不能被这行零一值替代。”

学生具体动作。 Q3 保持分组切分，改特征方法并记录结果。

教师在桌边怎样追问。 本页是否真正从像素里识别出缺口？

本段要收集的证据。 指出完美特征是假设输入。

28—32 分钟｜三个集合各自承担什么

教师可以这样说：“训练材料用于形成模型；验证材料用于选方案；最终测试尽量在方案固定后独立检查。名字叫测试还不够，如果反复根据它改方案，它实际上参与了选择过程。”

学生具体动作。 Q5 画训练、验证、最终测试的职责箭头。

教师在桌边怎样追问。 看到最终测试差就反复改参数，下一次还完全独立吗？

本段要收集的证据。 三种用途和反馈箭头清楚。

32—36 分钟｜把泄漏放到时间里看

教师可以这样说：“预测发生在维修之前，就不能把维修后的检查结论当成当时可用输入。字段存在于数据库，不等于部署时已经知道。分组隔离和时间可得性都要查，不能只随机打散行。”

学生具体动作。 给“维修后结果作为维修前预测输入”标出时间线。

教师在桌边怎样追问。 预测那一刻，这条输入已经产生了吗？

本段要收集的证据。 输入可用时点检查。

36—40 分钟｜独立分键盘材料

教师可以这样说：“Q4 换成四只键盘，每只两张照片；要求两只训练、一只验证、一只测试。请先自己分组，不照抄杯号。允许不同分法，但同一只键盘不能跨集合。”

学生具体动作。 Q4 为 K1a/b—K4a/b 分配三个集合。

教师在桌边怎样追问。 你检查的是照片数量还是键盘对象是否重复？

本段要收集的证据。 所有八张都有位置且对象不跨集合。

40—44 分钟｜独立比较两个方案

教师可以这样说：“在同一验证集上比较丙丁，两者分母相同。先算训练与验证比例，再说在这轮材料上倾向哪个方案。不要把“训练更高”当唯一依据，也不要宣布验证较好的一方永远更好。”

学生具体动作。 Q4 计算丙 30/30、7/12 与丁 27/30、10/12 的比例。

教师在桌边怎样追问。 比较时是否使用同一批验证对象？

本段要收集的证据。 四个比例与选择理由完整。

44—48 分钟｜同伴检查两个漏洞

教师可以这样说：“互换独立题，先检查对象是否混入，再检查维修后字段的时间。若分组有误，只移动同一对象的全组照片，不能删掉做错的照片来提高结果。”

学生具体动作。 Q5 给同伴标出对象隔离与时间可得性的检查结果。

教师在桌边怎样追问。 为了好看而删错例，会改变什么评价条件？

本段要收集的证据。 两项检查有依据而非笼统通过。

48—52 分钟｜揭示分组与选方案答案

教师可以这样说：“一例分法是 K1/K2 训练、K3 验证、K4 测试。丙训练百分百、验证约 58.33%；丁训练 90%、验证约 83.33%，因此在这批相同验证材料上优先丁。十二张不能代表所有环境。”

学生具体动作。 对照答案修订 Q4，保留选择依据。

教师在桌边怎样追问。 丁比丙多做对几张验证照片？

本段要收集的证据。 百分比与实际张数对应。

52—56 分钟｜把环境变化写成待办

教师可以这样说：“现有键盘照片全在白天。若以后夜间使用，不能仅凭白天验证分数作保证。要提出怎样收集新光照下的独立对象、由谁核对标签，以及怎样保持最终检查独立。”

学生具体动作。 Q6 写夜间使用前的最小检查清单。

教师在桌边怎样追问。 你的新材料同时改变了哪些环境条件？

本段要收集的证据。 清单含新对象、光照、标签与留出检查。

56—60 分钟｜离堂拆解一个宣传分数

教师可以这样说：“如果只看到准确率百分百，至少问目标是什么、在哪些记录上算、是否见过同对象、有没有参与选方案。学会这些问题，比背住过拟合的名字更能防止被漂亮数字误导。”

学生具体动作。 Q6 用杯子实验给百分百成绩写一句限定语。

教师在桌边怎样追问。 满分的分母和样本来源是否交代清楚？

本段要收集的证据。 限定语指向本课具体集合。

教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

数据集的三个角色

训练集参与参数拟合，验证集用来比较训练方案、选复杂度或决定何时停止，测试集用于方案固定后的独立检查。名字不是决定因素，真正要看数据怎样被使用：如果每次查看某一集合的成绩后继续改方案，它就在承担验证角色。切分比例没有适用一切任务的固定答案，还要考虑样本数、对象重复、时间顺序和未来使用环境。我们先把角色分开，才谈分多少行。

可以补充的例子：把100张照片分组时，不能仅写70/20/10就结束；同一件物品连拍的近似照片应考虑一起分组。

应当停住的推论：测试集不是神圣地只能读取一次，但反复据此开发会损害独立性，需要新的独立评估材料。

过拟合与欠拟合

模型可能把训练样本的偶然细节也拟合进去，结果训练表现很好，新样本表现明显较差，这是一种过拟合风险。若训练和验证都差，则可能是表达不足、训练没做好或输入没有足够信息，不能看到低分就只归咎一种原因。判断时要用同一任务、相同评价口径和足够代表性的材料比较。两个准确率只是线索，还需查看哪些类型错了，以及数据是否存在泄漏或分布差异。

可以补充的例子：模型甲训练20/20、验证6/10；模型乙训练18/20、验证8/10。乙验证更好，甲有较大训练验证差距。

应当停住的推论：这种小样本不能证明乙已适合上线，更不能单凭差距确定错误的唯一原因。

数据泄漏与真实可用输入

泄漏是评估过程中使用了本不应拥有的信息，例如测试对象的近重复记录已经在训练中，或把预测时尚未产生的结果字段当输入。这样得到的高分可能只说明模型识别了对象、文件名或事后线索。防止泄漏要从任务时间点和对象单位出发：预测时能拿到什么，同一个人、物品或事件是否跨集合重复。随机打乱行并不能自动解决这些问题。

可以补充的例子：同一个杯子的正面照片进训练、侧面照片进测试，测试就不是纯粹的新杯子；“维修完成后测值”也不能用于提前预测维修需求。

应当停住的推论：同对象跨集合是否合适取决于评估目标；本课目标明确为识别从未见过的新物品，因此需要按物品分组。

代表性与改进方案

泛化是对训练之外材料表现的能力，但“之外”还必须和预期使用场景相符。只用明亮背景验证，不能据此宣称夜间同样可靠。改进可以包括补足目标场景、修正标签、约束模型复杂度、用验证表现决定停止训练，随后保持最终测试的独立性。更多数据只有在任务相关、质量可靠时才可能帮助。报告应写清样本来源、数量、指标和未覆盖范围，让别人知道结论能走多远。

可以补充的例子：校园白天照片上8/10正确，仅支持这10张验证材料；如果产品夜间使用，还需单列夜间样本表现。

应当停住的推论：不能为追求好看的分数挑掉困难样本，也不能把虚构课堂样本说成真实部署评测。

后置讲评：独立尝试结束后才展开

Q2 默认记忆法训练 4/4、测试 4/4，测试杯号全部已见。Q3 按杯分组后仍训练 4/4，测试 2/4：C3 默认 0 做对两张，C4 默认 0 做错两张；重复杯号无，未见杯号照片四张。切到理想缺口特征后训练与测试均 4/4，这是给定完美特征的构造结果，不是实际 CNN 性能。

Q4 任何按对象完整分组、数量符合要求的方案都可；例如 K1/K2 训练、K3 验证、K4 测试。丙 100%、58.33%；丁 90%、83.33%。同一验证集丁多对三张，当前优先丁；不能宣布普遍更好。

Q5 反复据最终测试选方案使它参与选择，应另有独立检查；维修后结果在预测时不可用，构成未来信息泄漏。Q6 要补代表性夜间新对象、可信标签、固定方案后的独立检查。限定语例：记忆法在同四只已见杯子的另一视角上做对 4/4，尚未证明新杯子的识别能力。

板书、补救与课后加深

• 照片行 ≠ 底层对象。
• 训练形成方案 → 验证选方案 → 固定后最终检查。
• 检查对象重复、时间可得性、环境分布。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

选学分层切分、时间序列切分和交叉验证；进一步观察学习曲线与正则化，学习用区间表达小样本不确定性，不把本课12张样本当精确性能估计。 深化内容另计时间；先保证本课独立练习完成。

来源和实际完成范围

• AIPath 对应课：用作课序与主题对应。
• Google：Dividing the original dataset：核对训练、验证、测试分工及代表性；切分案例均为虚构教学材料。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。