# 第 5 课教师讲稿｜百分之百成绩为什么可能骗过我们？ 本课在 AIPath 的第 1 阶段，沿用原课主题“数据为王：训练集、测试集与过拟合”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。 ## 学完能做什么 - 能按真实对象切分照片，并识别同对象跨集合与未来信息泄漏。 - 能计算训练与留出正确数，解释为什么同杯满分不足以证明新杯识别能力。 - 能按用途区分训练、验证、最终测试，提出新环境下的独立检查。 贯穿问题：**同一只杯子的另一张照片，能代表从未见过的新杯子吗？** ## 课前准备与完整实验材料 教师先在本课页面找到“切分杯子照片并检查记忆捷径”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。 这是八条虚构杯子记录的真实切分、编号记忆与逐行计分。没有加载照片。缺口特征是题目直接提供的理想 0/1 字段，不能称为自动视觉提取。 - 照片怎样进入训练与测试（输入框 `split`）初始为： ```text leaky ``` - 预测方法（输入框 `strategy`）初始为： ```text memory ``` 运行前遮住分数。默认记忆规则的未知回退固定为 0，不是由测试标签选择。切分变动会重新形成当前训练编号表；方法切换与集合切分要分两轮进行。 ## 0—60 分钟：可以顺着使用的讲稿 ### 0—4 分钟｜先问满分考了什么 教师可以这样说：“今天先给你一个满分演示，但别急着相信。我们的目标是认识没见过的新杯子，不是记住已经见过的杯号。如果考试又出现同一物体的另一张照片，题目表面换了，答案线索可能并没有真正换。” **学生具体动作。** Q1 写“新照片”和“新杯子”可能有哪些差别。 **教师在桌边怎样追问。** 拍摄角度改变，是否就成了不同物体？ **本段要收集的证据。** 区分样本行与底层对象。 ### 4—8 分钟｜把八张照片摊开 教师可以这样说：“材料只有四只虚构杯子，每只正面侧面两张。C1、C3 无缺口，C2、C4 有缺口。本页额外提供一个理想缺口特征，它是教学表里的数，不是程序真的看了照片。” **学生具体动作。** Q2 列 C1—C4 及两种视角，圈出同物体关系。 **教师在桌边怎样追问。** C1 正面与 C1 侧面怎样确认有关联？ **本段要收集的证据。** 八条记录按对象连线。 ### 8—12 分钟｜先理解最笨的记忆法 教师可以这样说：“第一种方法记下训练集里的杯号与标签，没见过的杯号固定答零。它没有学会看缺口。这个固定回退规则必须提前说明，否则遇到新杯子时随意补答案，会让比较失去意义。” **学生具体动作。** 手算同杯切分时 C2 侧面的查询过程。 **教师在桌边怎样追问。** 程序查到的是视觉规律还是一个编号对应表？ **本段要收集的证据。** 记忆表与回退规则写清。 ### 12—16 分钟｜猜分数再运行 教师可以这样说：“默认把每只正面训练、侧面测试。先逐杯手算记忆法是否能查到答案，再运行看“跨集合重复杯号”。即使显示全对，也得问这个分数回答的是哪一个目标。” **学生具体动作。** Q2 预测默认训练与测试正确数，再运行。 **教师在桌边怎样追问。** 测试中有多少杯号训练时已经见过？ **本段要收集的证据。** 分数旁写重复杯号而非只写百分比。 ### 16—20 分钟｜真正按对象分开 教师可以这样说：“只把切分改为 C1/C2 训练、C3/C4 测试。先不要换预测方法。现在程序遇到未见杯号，只能执行预先约定的默认零。看分数变化时同时看哪些记录被移走，不能只截最后一行。” **学生具体动作。** Q3 只改切分，记录测试每张预测与未见杯号数量。 **教师在桌边怎样追问。** C4 的错误来自哪条回退规则？ **本段要收集的证据。** 对象隔离与具体错行的联系。 ### 20—24 分钟｜满分不能代替问题定义 教师可以这样说：“原来的满分并非计算器算错，而是那场比较不足以支撑“能认新杯子”。评价要和将来用途对齐：新照片、新对象、新环境分别可能需要不同的隔离方式。” **学生具体动作。** 写默认满分支持什么、不支持什么。 **教师在桌边怎样追问。** 如果业务只处理同一组已登记杯子，目标会如何不同？ **本段要收集的证据。** 结论包含明确目标范围。 ### 24—28 分钟｜用理想特征作对照 教师可以这样说：“现在把方法改为看缺口值。它在表上可能表现更好，但这里的缺口特征完美可得，是我们刻意简化的条件。真实图像怎样提取可靠特征，不能被这行零一值替代。” **学生具体动作。** Q3 保持分组切分，改特征方法并记录结果。 **教师在桌边怎样追问。** 本页是否真正从像素里识别出缺口？ **本段要收集的证据。** 指出完美特征是假设输入。 ### 28—32 分钟｜三个集合各自承担什么 教师可以这样说：“训练材料用于形成模型；验证材料用于选方案；最终测试尽量在方案固定后独立检查。名字叫测试还不够，如果反复根据它改方案，它实际上参与了选择过程。” **学生具体动作。** Q5 画训练、验证、最终测试的职责箭头。 **教师在桌边怎样追问。** 看到最终测试差就反复改参数，下一次还完全独立吗？ **本段要收集的证据。** 三种用途和反馈箭头清楚。 ### 32—36 分钟｜把泄漏放到时间里看 教师可以这样说：“预测发生在维修之前，就不能把维修后的检查结论当成当时可用输入。字段存在于数据库，不等于部署时已经知道。分组隔离和时间可得性都要查，不能只随机打散行。” **学生具体动作。** 给“维修后结果作为维修前预测输入”标出时间线。 **教师在桌边怎样追问。** 预测那一刻，这条输入已经产生了吗？ **本段要收集的证据。** 输入可用时点检查。 ### 36—40 分钟｜独立分键盘材料 教师可以这样说：“Q4 换成四只键盘，每只两张照片；要求两只训练、一只验证、一只测试。请先自己分组，不照抄杯号。允许不同分法，但同一只键盘不能跨集合。” **学生具体动作。** Q4 为 K1a/b—K4a/b 分配三个集合。 **教师在桌边怎样追问。** 你检查的是照片数量还是键盘对象是否重复？ **本段要收集的证据。** 所有八张都有位置且对象不跨集合。 ### 40—44 分钟｜独立比较两个方案 教师可以这样说：“在同一验证集上比较丙丁，两者分母相同。先算训练与验证比例，再说在这轮材料上倾向哪个方案。不要把“训练更高”当唯一依据，也不要宣布验证较好的一方永远更好。” **学生具体动作。** Q4 计算丙 30/30、7/12 与丁 27/30、10/12 的比例。 **教师在桌边怎样追问。** 比较时是否使用同一批验证对象？ **本段要收集的证据。** 四个比例与选择理由完整。 ### 44—48 分钟｜同伴检查两个漏洞 教师可以这样说：“互换独立题，先检查对象是否混入，再检查维修后字段的时间。若分组有误，只移动同一对象的全组照片，不能删掉做错的照片来提高结果。” **学生具体动作。** Q5 给同伴标出对象隔离与时间可得性的检查结果。 **教师在桌边怎样追问。** 为了好看而删错例，会改变什么评价条件？ **本段要收集的证据。** 两项检查有依据而非笼统通过。 ### 48—52 分钟｜揭示分组与选方案答案 教师可以这样说：“一例分法是 K1/K2 训练、K3 验证、K4 测试。丙训练百分百、验证约 58.33%；丁训练 90%、验证约 83.33%，因此在这批相同验证材料上优先丁。十二张不能代表所有环境。” **学生具体动作。** 对照答案修订 Q4，保留选择依据。 **教师在桌边怎样追问。** 丁比丙多做对几张验证照片？ **本段要收集的证据。** 百分比与实际张数对应。 ### 52—56 分钟｜把环境变化写成待办 教师可以这样说：“现有键盘照片全在白天。若以后夜间使用，不能仅凭白天验证分数作保证。要提出怎样收集新光照下的独立对象、由谁核对标签，以及怎样保持最终检查独立。” **学生具体动作。** Q6 写夜间使用前的最小检查清单。 **教师在桌边怎样追问。** 你的新材料同时改变了哪些环境条件？ **本段要收集的证据。** 清单含新对象、光照、标签与留出检查。 ### 56—60 分钟｜离堂拆解一个宣传分数 教师可以这样说：“如果只看到准确率百分百，至少问目标是什么、在哪些记录上算、是否见过同对象、有没有参与选方案。学会这些问题，比背住过拟合的名字更能防止被漂亮数字误导。” **学生具体动作。** Q6 用杯子实验给百分百成绩写一句限定语。 **教师在桌边怎样追问。** 满分的分母和样本来源是否交代清楚？ **本段要收集的证据。** 限定语指向本课具体集合。 ## 教师的概念备查：先用上面的观察，再补准确说法 这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。 ### 数据集的三个角色 训练集参与参数拟合，验证集用来比较训练方案、选复杂度或决定何时停止，测试集用于方案固定后的独立检查。名字不是决定因素，真正要看数据怎样被使用：如果每次查看某一集合的成绩后继续改方案，它就在承担验证角色。切分比例没有适用一切任务的固定答案，还要考虑样本数、对象重复、时间顺序和未来使用环境。我们先把角色分开，才谈分多少行。 可以补充的例子：把100张照片分组时，不能仅写70/20/10就结束；同一件物品连拍的近似照片应考虑一起分组。 应当停住的推论：测试集不是神圣地只能读取一次，但反复据此开发会损害独立性，需要新的独立评估材料。 ### 过拟合与欠拟合 模型可能把训练样本的偶然细节也拟合进去，结果训练表现很好，新样本表现明显较差，这是一种过拟合风险。若训练和验证都差，则可能是表达不足、训练没做好或输入没有足够信息，不能看到低分就只归咎一种原因。判断时要用同一任务、相同评价口径和足够代表性的材料比较。两个准确率只是线索，还需查看哪些类型错了，以及数据是否存在泄漏或分布差异。 可以补充的例子：模型甲训练20/20、验证6/10；模型乙训练18/20、验证8/10。乙验证更好，甲有较大训练验证差距。 应当停住的推论：这种小样本不能证明乙已适合上线，更不能单凭差距确定错误的唯一原因。 ### 数据泄漏与真实可用输入 泄漏是评估过程中使用了本不应拥有的信息，例如测试对象的近重复记录已经在训练中，或把预测时尚未产生的结果字段当输入。这样得到的高分可能只说明模型识别了对象、文件名或事后线索。防止泄漏要从任务时间点和对象单位出发：预测时能拿到什么，同一个人、物品或事件是否跨集合重复。随机打乱行并不能自动解决这些问题。 可以补充的例子：同一个杯子的正面照片进训练、侧面照片进测试，测试就不是纯粹的新杯子；“维修完成后测值”也不能用于提前预测维修需求。 应当停住的推论：同对象跨集合是否合适取决于评估目标；本课目标明确为识别从未见过的新物品，因此需要按物品分组。 ### 代表性与改进方案 泛化是对训练之外材料表现的能力，但“之外”还必须和预期使用场景相符。只用明亮背景验证，不能据此宣称夜间同样可靠。改进可以包括补足目标场景、修正标签、约束模型复杂度、用验证表现决定停止训练，随后保持最终测试的独立性。更多数据只有在任务相关、质量可靠时才可能帮助。报告应写清样本来源、数量、指标和未覆盖范围，让别人知道结论能走多远。 可以补充的例子：校园白天照片上8/10正确，仅支持这10张验证材料；如果产品夜间使用，还需单列夜间样本表现。 应当停住的推论：不能为追求好看的分数挑掉困难样本，也不能把虚构课堂样本说成真实部署评测。 ## 后置讲评：独立尝试结束后才展开 Q2 默认记忆法训练 4/4、测试 4/4，测试杯号全部已见。Q3 按杯分组后仍训练 4/4，测试 2/4：C3 默认 0 做对两张，C4 默认 0 做错两张；重复杯号无，未见杯号照片四张。切到理想缺口特征后训练与测试均 4/4，这是给定完美特征的构造结果，不是实际 CNN 性能。 Q4 任何按对象完整分组、数量符合要求的方案都可；例如 K1/K2 训练、K3 验证、K4 测试。丙 100%、58.33%；丁 90%、83.33%。同一验证集丁多对三张，当前优先丁；不能宣布普遍更好。 Q5 反复据最终测试选方案使它参与选择，应另有独立检查；维修后结果在预测时不可用，构成未来信息泄漏。Q6 要补代表性夜间新对象、可信标签、固定方案后的独立检查。限定语例：记忆法在同四只已见杯子的另一视角上做对 4/4，尚未证明新杯子的识别能力。 ## 板书、补救与课后加深 - 照片行 ≠ 底层对象。 - 训练形成方案 → 验证选方案 → 固定后最终检查。 - 检查对象重复、时间可得性、环境分布。 使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。 选学分层切分、时间序列切分和交叉验证；进一步观察学习曲线与正则化，学习用区间表达小样本不确定性，不把本课12张样本当精确性能估计。 深化内容另计时间；先保证本课独立练习完成。 ## 来源和实际完成范围 - [AIPath 对应课](https://aipath.buynao.com/#/lesson/05-data-and-overfitting)：用作课序与主题对应。 - [Google：Dividing the original dataset](https://developers.google.com/machine-learning/crash-course/overfitting/dividing-datasets)：核对训练、验证、测试分工及代表性；切分案例均为虚构教学材料。 新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 今天先给你一个满分演示，但别急着相信。我们的目标是认识没见过的新杯子，不是记住已经见过的杯号。如果考试又出现同一物体的另一张照片，题目表面换了，答案线索可能并没有真正换。 | 在工作纸记录本段问题：先问满分考了什么 | 保留一句关于“先问满分考了什么”的原始解释 | | 01:00—02:00 | 把本段材料留在屏幕，说明操作：Q1 写“新照片”和“新杯子”可能有哪些差别 | Q1 写“新照片”和“新杯子”可能有哪些差别 | 区分样本行与底层对象 | | 02:00—03:00 | 逐人检查记录；只追问：拍摄角度改变，是否就成了不同物体？ | 对照刚才的输入和输出，回答：拍摄角度改变，是否就成了不同物体？ | 回答中标出本段的输入条件和一个中间量 | | 03:00—04:00 | 请一位学生读记录，检查是否完成：区分样本行与底层对象。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先问满分考了什么旁保留修订痕迹 | 区分样本行与底层对象 | | 04:00—05:00 | 材料只有四只虚构杯子，每只正面侧面两张。C1、C3 无缺口，C2、C4 有缺口。本页额外提供一个理想缺口特征，它是教学表里的数，不是程序真的看了照片。 | 在工作纸记录本段问题：把八张照片摊开 | 保留一句关于“把八张照片摊开”的原始解释 | | 05:00—06:00 | 把本段材料留在屏幕，说明操作：Q2 列 C1—C4 及两种视角，圈出同物体关系 | Q2 列 C1—C4 及两种视角，圈出同物体关系 | 八条记录按对象连线 | | 06:00—07:00 | 逐人检查记录；只追问：C1 正面与 C1 侧面怎样确认有关联？ | 对照刚才的输入和输出，回答：C1 正面与 C1 侧面怎样确认有关联？ | 回答中标出本段的输入条件和一个中间量 | | 07:00—08:00 | 请一位学生读记录，检查是否完成：八条记录按对象连线。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把八张照片摊开旁保留修订痕迹 | 八条记录按对象连线 | | 08:00—09:00 | 第一种方法记下训练集里的杯号与标签，没见过的杯号固定答零。它没有学会看缺口。这个固定回退规则必须提前说明，否则遇到新杯子时随意补答案，会让比较失去意义。 | 在工作纸记录本段问题：先理解最笨的记忆法 | 保留一句关于“先理解最笨的记忆法”的原始解释 | | 09:00—10:00 | 把本段材料留在屏幕，说明操作：手算同杯切分时 C2 侧面的查询过程 | 手算同杯切分时 C2 侧面的查询过程 | 记忆表与回退规则写清 | | 10:00—11:00 | 逐人检查记录；只追问：程序查到的是视觉规律还是一个编号对应表？ | 对照刚才的输入和输出，回答：程序查到的是视觉规律还是一个编号对应表？ | 回答中标出本段的输入条件和一个中间量 | | 11:00—12:00 | 请一位学生读记录，检查是否完成：记忆表与回退规则写清。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先理解最笨的记忆法旁保留修订痕迹 | 记忆表与回退规则写清 | | 12:00—13:00 | 默认把每只正面训练、侧面测试。先逐杯手算记忆法是否能查到答案，再运行看“跨集合重复杯号”。即使显示全对，也得问这个分数回答的是哪一个目标。 | 在工作纸记录本段问题：猜分数再运行 | 保留一句关于“猜分数再运行”的原始解释 | | 13:00—14:00 | 把本段材料留在屏幕，说明操作：Q2 预测默认训练与测试正确数，再运行 | Q2 预测默认训练与测试正确数，再运行 | 分数旁写重复杯号而非只写百分比 | | 14:00—15:00 | 逐人检查记录；只追问：测试中有多少杯号训练时已经见过？ | 对照刚才的输入和输出，回答：测试中有多少杯号训练时已经见过？ | 回答中标出本段的输入条件和一个中间量 | | 15:00—16:00 | 请一位学生读记录，检查是否完成：分数旁写重复杯号而非只写百分比。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在猜分数再运行旁保留修订痕迹 | 分数旁写重复杯号而非只写百分比 | | 16:00—17:00 | 只把切分改为 C1/C2 训练、C3/C4 测试。先不要换预测方法。现在程序遇到未见杯号，只能执行预先约定的默认零。看分数变化时同时看哪些记录被移走，不能只截最后一行。 | 在工作纸记录本段问题：真正按对象分开 | 保留一句关于“真正按对象分开”的原始解释 | | 17:00—18:00 | 把本段材料留在屏幕，说明操作：Q3 只改切分，记录测试每张预测与未见杯号数量 | Q3 只改切分，记录测试每张预测与未见杯号数量 | 对象隔离与具体错行的联系 | | 18:00—19:00 | 逐人检查记录；只追问：C4 的错误来自哪条回退规则？ | 对照刚才的输入和输出，回答：C4 的错误来自哪条回退规则？ | 回答中标出本段的输入条件和一个中间量 | | 19:00—20:00 | 请一位学生读记录，检查是否完成：对象隔离与具体错行的联系。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在真正按对象分开旁保留修订痕迹 | 对象隔离与具体错行的联系 | | 20:00—21:00 | 原来的满分并非计算器算错，而是那场比较不足以支撑“能认新杯子”。评价要和将来用途对齐：新照片、新对象、新环境分别可能需要不同的隔离方式。 | 在工作纸记录本段问题：满分不能代替问题定义 | 保留一句关于“满分不能代替问题定义”的原始解释 | | 21:00—22:00 | 把本段材料留在屏幕，说明操作：写默认满分支持什么、不支持什么 | 写默认满分支持什么、不支持什么 | 结论包含明确目标范围 | | 22:00—23:00 | 逐人检查记录；只追问：如果业务只处理同一组已登记杯子，目标会如何不同？ | 对照刚才的输入和输出，回答：如果业务只处理同一组已登记杯子，目标会如何不同？ | 回答中标出本段的输入条件和一个中间量 | | 23:00—24:00 | 请一位学生读记录，检查是否完成：结论包含明确目标范围。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在满分不能代替问题定义旁保留修订痕迹 | 结论包含明确目标范围 | | 24:00—25:00 | 现在把方法改为看缺口值。它在表上可能表现更好，但这里的缺口特征完美可得，是我们刻意简化的条件。真实图像怎样提取可靠特征，不能被这行零一值替代。 | 在工作纸记录本段问题：用理想特征作对照 | 保留一句关于“用理想特征作对照”的原始解释 | | 25:00—26:00 | 把本段材料留在屏幕，说明操作：Q3 保持分组切分，改特征方法并记录结果 | Q3 保持分组切分，改特征方法并记录结果 | 指出完美特征是假设输入 | | 26:00—27:00 | 逐人检查记录；只追问：本页是否真正从像素里识别出缺口？ | 对照刚才的输入和输出，回答：本页是否真正从像素里识别出缺口？ | 回答中标出本段的输入条件和一个中间量 | | 27:00—28:00 | 请一位学生读记录，检查是否完成：指出完美特征是假设输入。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在用理想特征作对照旁保留修订痕迹 | 指出完美特征是假设输入 | | 28:00—29:00 | 训练材料用于形成模型；验证材料用于选方案；最终测试尽量在方案固定后独立检查。名字叫测试还不够，如果反复根据它改方案，它实际上参与了选择过程。 | 在工作纸记录本段问题：三个集合各自承担什么 | 保留一句关于“三个集合各自承担什么”的原始解释 | | 29:00—30:00 | 把本段材料留在屏幕，说明操作：Q5 画训练、验证、最终测试的职责箭头 | Q5 画训练、验证、最终测试的职责箭头 | 三种用途和反馈箭头清楚 | | 30:00—31:00 | 逐人检查记录；只追问：看到最终测试差就反复改参数，下一次还完全独立吗？ | 对照刚才的输入和输出，回答：看到最终测试差就反复改参数，下一次还完全独立吗？ | 回答中标出本段的输入条件和一个中间量 | | 31:00—32:00 | 请一位学生读记录，检查是否完成：三种用途和反馈箭头清楚。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在三个集合各自承担什么旁保留修订痕迹 | 三种用途和反馈箭头清楚 | | 32:00—33:00 | 预测发生在维修之前，就不能把维修后的检查结论当成当时可用输入。字段存在于数据库，不等于部署时已经知道。分组隔离和时间可得性都要查，不能只随机打散行。 | 在工作纸记录本段问题：把泄漏放到时间里看 | 保留一句关于“把泄漏放到时间里看”的原始解释 | | 33:00—34:00 | 把本段材料留在屏幕，说明操作：给“维修后结果作为维修前预测输入”标出时间线 | 给“维修后结果作为维修前预测输入”标出时间线 | 输入可用时点检查 | | 34:00—35:00 | 逐人检查记录；只追问：预测那一刻，这条输入已经产生了吗？ | 对照刚才的输入和输出，回答：预测那一刻，这条输入已经产生了吗？ | 回答中标出本段的输入条件和一个中间量 | | 35:00—36:00 | 请一位学生读记录，检查是否完成：输入可用时点检查。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把泄漏放到时间里看旁保留修订痕迹 | 输入可用时点检查 | | 36:00—37:00 | Q4 换成四只键盘，每只两张照片；要求两只训练、一只验证、一只测试。请先自己分组，不照抄杯号。允许不同分法，但同一只键盘不能跨集合。 | 在工作纸记录本段问题：独立分键盘材料 | 保留一句关于“独立分键盘材料”的原始解释 | | 37:00—38:00 | 把本段材料留在屏幕，说明操作：Q4 为 K1a/b—K4a/b 分配三个集合 | Q4 为 K1a/b—K4a/b 分配三个集合 | 所有八张都有位置且对象不跨集合 | | 38:00—39:00 | 逐人检查记录；只追问：你检查的是照片数量还是键盘对象是否重复？ | 对照刚才的输入和输出，回答：你检查的是照片数量还是键盘对象是否重复？ | 回答中标出本段的输入条件和一个中间量 | | 39:00—40:00 | 请一位学生读记录，检查是否完成：所有八张都有位置且对象不跨集合。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立分键盘材料旁保留修订痕迹 | 所有八张都有位置且对象不跨集合 | | 40:00—41:00 | 在同一验证集上比较丙丁，两者分母相同。先算训练与验证比例，再说在这轮材料上倾向哪个方案。不要把“训练更高”当唯一依据，也不要宣布验证较好的一方永远更好。 | 在工作纸记录本段问题：独立比较两个方案 | 保留一句关于“独立比较两个方案”的原始解释 | | 41:00—42:00 | 把本段材料留在屏幕，说明操作：Q4 计算丙 30/30、7/12 与丁 27/30、10/12 的比例 | Q4 计算丙 30/30、7/12 与丁 27/30、10/12 的比例 | 四个比例与选择理由完整 | | 42:00—43:00 | 逐人检查记录；只追问：比较时是否使用同一批验证对象？ | 对照刚才的输入和输出，回答：比较时是否使用同一批验证对象？ | 回答中标出本段的输入条件和一个中间量 | | 43:00—44:00 | 请一位学生读记录，检查是否完成：四个比例与选择理由完整。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立比较两个方案旁保留修订痕迹 | 四个比例与选择理由完整 | | 44:00—45:00 | 互换独立题，先检查对象是否混入，再检查维修后字段的时间。若分组有误，只移动同一对象的全组照片，不能删掉做错的照片来提高结果。 | 在工作纸记录本段问题：同伴检查两个漏洞 | 保留一句关于“同伴检查两个漏洞”的原始解释 | | 45:00—46:00 | 把本段材料留在屏幕，说明操作：Q5 给同伴标出对象隔离与时间可得性的检查结果 | Q5 给同伴标出对象隔离与时间可得性的检查结果 | 两项检查有依据而非笼统通过 | | 46:00—47:00 | 逐人检查记录；只追问：为了好看而删错例，会改变什么评价条件？ | 对照刚才的输入和输出，回答：为了好看而删错例，会改变什么评价条件？ | 回答中标出本段的输入条件和一个中间量 | | 47:00—48:00 | 请一位学生读记录，检查是否完成：两项检查有依据而非笼统通过。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在同伴检查两个漏洞旁保留修订痕迹 | 两项检查有依据而非笼统通过 | | 48:00—49:00 | 一例分法是 K1/K2 训练、K3 验证、K4 测试。丙训练百分百、验证约 58.33%；丁训练 90%、验证约 83.33%，因此在这批相同验证材料上优先丁。十二张不能代表所有环境。 | 在工作纸记录本段问题：揭示分组与选方案答案 | 保留一句关于“揭示分组与选方案答案”的原始解释 | | 49:00—50:00 | 把本段材料留在屏幕，说明操作：对照答案修订 Q4，保留选择依据 | 对照答案修订 Q4，保留选择依据 | 百分比与实际张数对应 | | 50:00—51:00 | 逐人检查记录；只追问：丁比丙多做对几张验证照片？ | 对照刚才的输入和输出，回答：丁比丙多做对几张验证照片？ | 回答中标出本段的输入条件和一个中间量 | | 51:00—52:00 | 请一位学生读记录，检查是否完成：百分比与实际张数对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在揭示分组与选方案答案旁保留修订痕迹 | 百分比与实际张数对应 | | 52:00—53:00 | 现有键盘照片全在白天。若以后夜间使用，不能仅凭白天验证分数作保证。要提出怎样收集新光照下的独立对象、由谁核对标签，以及怎样保持最终检查独立。 | 在工作纸记录本段问题：把环境变化写成待办 | 保留一句关于“把环境变化写成待办”的原始解释 | | 53:00—54:00 | 把本段材料留在屏幕，说明操作：Q6 写夜间使用前的最小检查清单 | Q6 写夜间使用前的最小检查清单 | 清单含新对象、光照、标签与留出检查 | | 54:00—55:00 | 逐人检查记录；只追问：你的新材料同时改变了哪些环境条件？ | 对照刚才的输入和输出，回答：你的新材料同时改变了哪些环境条件？ | 回答中标出本段的输入条件和一个中间量 | | 55:00—56:00 | 请一位学生读记录，检查是否完成：清单含新对象、光照、标签与留出检查。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把环境变化写成待办旁保留修订痕迹 | 清单含新对象、光照、标签与留出检查 | | 56:00—57:00 | 如果只看到准确率百分百，至少问目标是什么、在哪些记录上算、是否见过同对象、有没有参与选方案。学会这些问题，比背住过拟合的名字更能防止被漂亮数字误导。 | 在工作纸记录本段问题：离堂拆解一个宣传分数 | 保留一句关于“离堂拆解一个宣传分数”的原始解释 | | 57:00—58:00 | 把本段材料留在屏幕，说明操作：Q6 用杯子实验给百分百成绩写一句限定语 | Q6 用杯子实验给百分百成绩写一句限定语 | 限定语指向本课具体集合 | | 58:00—59:00 | 逐人检查记录；只追问：满分的分母和样本来源是否交代清楚？ | 对照刚才的输入和输出，回答：满分的分母和样本来源是否交代清楚？ | 回答中标出本段的输入条件和一个中间量 | | 59:00—60:00 | 请一位学生读记录，检查是否完成：限定语指向本课具体集合。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在离堂拆解一个宣传分数旁保留修订痕迹 | 限定语指向本课具体集合 | --- # 第 5 课参考答案与评分｜百分之百成绩为什么可能骗过我们？ 仅在独立题结束后展开。首次预测不按对错扣分；下列固定算例的答案来自明确的输入与算法。 Q2 默认记忆法训练 4/4、测试 4/4，测试杯号全部已见。Q3 按杯分组后仍训练 4/4，测试 2/4：C3 默认 0 做对两张，C4 默认 0 做错两张；重复杯号无，未见杯号照片四张。切到理想缺口特征后训练与测试均 4/4，这是给定完美特征的构造结果，不是实际 CNN 性能。 Q4 任何按对象完整分组、数量符合要求的方案都可；例如 K1/K2 训练、K3 验证、K4 测试。丙 100%、58.33%；丁 90%、83.33%。同一验证集丁多对三张，当前优先丁；不能宣布普遍更好。 Q5 反复据最终测试选方案使它参与选择，应另有独立检查；维修后结果在预测时不可用，构成未来信息泄漏。Q6 要补代表性夜间新对象、可信标签、固定方案后的独立检查。限定语例：记忆法在同四只已见杯子的另一视角上做对 4/4，尚未证明新杯子的识别能力。 ## 10 分评分 常见误答“训练和测试文件名不同，所以没有泄漏”，遗漏了背后的同一对象。这里要检查杯号是否重叠，而不是只看照片名。分组后记忆法对未见杯子一律输出 0，因此碰巧对 C3 并不表示学会了缺口特征；必须把 C4 的两张错误一起报告。选择丁是用验证数据比较候选，最终测试应留到方案确定后再用。独立题若把 K3a 放验证、K3b 放测试，即便各集合张数合理，也没有满足对象独立的要求。 - Q1—Q2：保留预测并正确展示默认条件的一个手算中间量，2 分；不因预测猜错扣分。 - Q3：按题目只改一个条件，记录原值、新值和实际变化，2 分。 - Q4：独立材料中的计算或检查过程可复算，2 分。 - Q5：解释本课机制并指出证据对应哪一步，2 分。 - Q6：迁移题与离堂题明确实验边界，2 分。 评分时应接受含义相同的学生表述。若输入条件与题目不同，先标记为另一轮实验，再要求补做指定条件；不要将不同条件的输出直接判成同一题的答案。