# 第 12 课教师讲稿｜从原句拆出训练题，再统计下一块可能是什么 本课在 AIPath 的第 3 阶段，沿用原课主题“预训练：用整个互联网玩文字接龙”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。 ## 学完能做什么 - 能从已切块原文构造所有非空前缀与下一项目标，发现目标错位。 - 能从同前缀记录计算经验概率与目标负对数损失，解释增加另一延续的影响。 - 能区分频数拟合、神经参数训练与固定模型生成，并说明未见前缀和事实核验边界。 贯穿问题：**下一项训练答案从哪里来，更多重复材料怎样改变条件频数？** ## 课前准备与完整实验材料 教师先在本课页面找到“前缀目标配对与频数模型”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。 本页真实把语料逐行拆成所有非空前缀—下一项对，再建立完全相同前缀的后续频数表。没有平滑、相似前缀泛化或神经网络训练；显示的概率确实由用户材料计算。 - 已切块训练语料，每行空格分隔（输入框 `corpus`）初始为： ```text 清晨 风 很 轻 <结束> 清晨 风 很 轻 <结束> 清晨 风 很 凉 <结束> ``` - 要查询的完整前缀（输入框 `prefix`）初始为： ```text 清晨 风 很 ``` - 要评价的下一块目标（输入框 `target`）初始为： ```text 轻 ``` 标记 <结束> 作为文本块参与目标，按普通文字显示而非 HTML。目标概率为零时不人为填小正数，明确说明本例不能提供有限对数损失。预设丙丁概率仅用于另一纸面比较，不能当作频数模型实际输出。 ## 0—60 分钟：可以顺着使用的讲稿 ### 0—4 分钟｜从已会切块继续往下 教师可以这样说：“上一课弄清了文字怎样变成块，今天用已经切好的块制造练习题。老师不必逐条额外标注“正确下一块”，原文里下一位置就提供目标。先动手拆一句，再把这种信号叫自监督。” **学生具体动作。** Q1 看“清晨 风 很 轻 结束”，先猜能拆几道接龙题。 **教师在桌边怎样追问。** 目标答案能从原文哪一处取得？ **本段要收集的证据。** 答案来源与原文位置对应。 ### 4—8 分钟｜只遮住真正的下一项 教师可以这样说：“给出前缀清晨，目标是紧随的风；前缀清晨风，目标是很。已经放进前缀的最后一项不能再次当作下一项答案。这个错位看似小，却会改变任务本身。” **学生具体动作。** Q2 手写第一条原文的全部前缀—目标对。 **教师在桌边怎样追问。** 前缀是否已经包含了你写的目标位置？ **本段要收集的证据。** 四对逐步增长的训练题。 ### 8—12 分钟｜结束也是一个条件 教师可以这样说：“到完整句子清晨风很轻之后，题目给的下一项是结束。今天显式写出结束标记，是为了让停止也有训练目标；真实编码还可能有其他特殊符号，本例不额外引入。” **学生具体动作。** 圈出最后一对及结束标记的作用。 **教师在桌边怎样追问。** 没有结束约定时，什么时候算应该停？ **本段要收集的证据。** 停止目标与普通文本区别。 ### 12—16 分钟｜用小统计表替代大网络 教师可以这样说：“本页不是神经网络，而是遇到完全相同前缀就数下一项出现几次。三条材料中两条接轻、一条接凉，程序真正从当前语料生成频数表。它很笨，但训练信号和概率含义都看得清。” **学生具体动作。** Q2 手数查询前缀的后续次数，再运行。 **教师在桌边怎样追问。** 它是否会把意思相近但不同文字的前缀自动合并？ **本段要收集的证据。** 完整前缀匹配限制明确。 ### 16—20 分钟｜频率是一把怎样的尺子 教师可以这样说：“某个后续出现两次，总共有三条匹配记录，经验概率就是二除以三。它描述这份材料里的条件频率，不保证现实中的风有三分之二是轻的，更不是经过校准的世界知识。” **学生具体动作。** 记录匹配条数、目标次数、相除结果。 **教师在桌边怎样追问。** 分母是所有训练对，还是相同前缀的记录数？ **本段要收集的证据。** 正确条件分母。 ### 20—24 分钟｜让目标概率连接损失 教师可以这样说：“为了比较对这一个目标的预测，用负自然对数把概率变成损失。概率越接近一，这项损失越小。先观察两个具体概率对应的数，不要求初学者先推导对数函数的所有性质。” **学生具体动作。** Q3 记录当前概率和程序损失，用普通计算器核对一次。 **教师在桌边怎样追问。** 用来求损失的是目标那一项还是最大的候选项？ **本段要收集的证据。** 目标概率与损失对应。 ### 24—28 分钟｜只多加一条另一延续 教师可以这样说：“添加一条以凉结束的同前缀材料，其他不动。先猜轻的次数、分母和概率分别怎样变。目标次数未变但分母变大，可以让概率下降，这比只背“数据影响模型”更具体。” **学生具体动作。** Q3 添加一条凉记录，运行并对照两轮频数。 **教师在桌边怎样追问。** 概率变化来自目标次数还是其他延续次数？ **本段要收集的证据。** 次数与分母变化明确。 ### 28—32 分钟｜未见前缀不能假装知道 教师可以这样说：“把查询改成从未见过的完整前缀。这个频数模型查不到，不进行语义类推；页面会显示零匹配。神经语言模型的能力更复杂，但不能把它们可能的泛化能力冒充成本页已有能力。” **学生具体动作。** 试一次未见前缀，记录返回范围。 **教师在桌边怎样追问。** 零记录能否合理换成你喜欢的答案？ **本段要收集的证据。** 明确未覆盖而非伪造预测。 ### 32—36 分钟｜损失低也不是事实保证 教师可以这样说：“假如语料反复出现一个错误说法，频数表也会照数不误。学习目标来自资料，不等于资料自动真实。大规模预训练带来能力，同时也要面对噪声、偏见、重复和信息缺失。” **学生具体动作。** Q5 解释重复错误材料会给本频数表带来什么。 **教师在桌边怎样追问。** 低损失是在拟合什么，是否已经核验真实世界？ **本段要收集的证据。** 拟合材料与事实核验分开。 ### 36—40 分钟｜独立新句子拆题 教师可以这样说：“Q4 改成傍晚灯逐渐亮起的序列，先手写所有配对。另有一张错题卡把已含亮起的完整句子再次指向亮起，请找出目标位置错误。教师只检查索引，不先修答案。” **学生具体动作。** Q4 为新句写前缀与目标，并诊断错题卡。 **教师在桌边怎样追问。** 完整句子后面原文下一块实际位于哪里？ **本段要收集的证据。** 新句全部配对和错位依据。 ### 40—44 分钟｜独立频数与预设模型比较 教师可以这样说：“Q4 语料两条亮起、一条熄灭，先算相同前缀的经验概率。另给模型丙亮起 0.6、丁亮起 0.3，它们是固定材料，不要同频数表混算成一次训练。” **学生具体动作。** Q4 运行新语料，再分别比较预设丙丁的目标损失。 **教师在桌边怎样追问。** 哪组概率由当前频数算出，哪组只是题目给定？ **本段要收集的证据。** 两类概率来源分开。 ### 44—48 分钟｜同伴逐条检查目标来源 教师可以这样说：“交换配对表，沿原句标每个目标的位置。概率比较则检查用了正确目标列。有人用熄灭概率求亮起损失，先纠正目标对应，不必重新讲整套对数数学。” **学生具体动作。** Q5 核对同伴一对训练题与一个损失输入。 **教师在桌边怎样追问。** 目标来自原文还是来自模型刚刚猜出的句子？ **本段要收集的证据。** 原文—目标—概率连接清楚。 ### 48—52 分钟｜此时讲评三份答案 教师可以这样说：“独立句子拆出四对，完整句子后应是结束。两亮一灭的经验概率为三分之二，损失约 0.405465。预设丙的 0.6 对应约 0.511，丁的 0.3 对应约 1.204，这一位置丙更低。” **学生具体动作。** 修订 Q4，给不同来源的概率加标签。 **教师在桌边怎样追问。** 一项损失较低能否证明整模型所有任务更好？ **本段要收集的证据。** 限定为当前目标与材料。 ### 52—56 分钟｜把统计与神经训练接上 教师可以这样说：“神经模型也用目标概率形成损失，但随后通过反向传播和优化器调大量参数。今天的统计表直接计数，不是执行那套参数更新。把共同的训练目标与不同的实现方法分别说明。” **学生具体动作。** Q6 对比频数拟合与神经网络损失—反向—更新。 **教师在桌边怎样追问。** 本页哪一处真的执行了神经参数更新？ **本段要收集的证据。** 目标相似与实现不同的界限。 ### 56—60 分钟｜离堂不把模型当原文仓库 教师可以这样说：“参数可以学习规律，也可能记住某些片段，但不能把它当可靠逐条检索原文的数据库。今天如果要找原句，可以查我们保留的语料表；输出概率本身不是来源引用。” **学生具体动作。** Q6 写训练信号、损失意义和来源核验的一句话。 **教师在桌边怎样追问。** 你怎样证明一条回答来自哪条原始记录？ **本段要收集的证据。** 语言预测与可追溯来源区别。 ## 教师的概念备查：先用上面的观察，再补准确说法 这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。 ### 从原文构造自监督目标 预训练可以利用大规模数据学习通用表示，现代自回归语言模型常用下一Token预测任务：给出前缀，目标取原文紧随其后的Token。目标来自数据本身，所以不必让人逐条另写答案，但收集、筛选、清洗和授权等工作仍存在成本。切分完的一条序列能提供多个训练位置，每个位置的可见内容必须符合因果约束。标题中的“整个互联网”只是通俗比喻，真实训练集是有范围、有选择的数据集合。 可以补充的例子：[清晨,风,很,轻,结束]可产生[清晨,风]→很；不能把“很”先放入这个前缀再说模型预测成功。 应当停住的推论：课堂数据由教师编写，不证明任何真实模型读过某个网站或某段私有文本。 ### 概率分布与预测损失 模型对词表候选给出概率分布，训练观察真实目标获得了多少概率。常见交叉熵在单一目标位置可理解为真实目标概率的负对数：概率越低，惩罚越高。今天给查表值，不要求求对数。某次生成碰巧猜中与训练质量不是同一件事；优化会利用目标概率的连续信息，而不只是对错计数。训练损失还要在多个有效位置或样本上按规定汇总。 可以补充的例子：目标“轻”时模型甲给0.8，对应自然对数损失约0.223；模型乙给0.2，对应约1.609，甲此位置损失更低。 应当停住的推论：一次较低损失不代表事实可靠，语料中错误或重复信息也能成为被预测的目标。 ### 从目标到参数更新 有了预测分布和目标损失，训练再通过反向传播计算梯度，由优化器更新参数。许多文本位置和批次反复执行，使模型更能拟合相关语言规律。模型的规模、结构、数据和优化方法共同影响结果，不能把“下一Token目标简单”误解为内部算法也只按相邻词频查表。它可以利用长前缀进行复杂变换，但训练目标仍不能直接保证每种能力和事实都正确。 可以补充的例子：本课的0.8与0.2是两个教师设定的候选状态，只用于比较损失；我们没有算真实大模型梯度，不能写已经训练出模型。 应当停住的推论：普通输入回复一般是固定参数推理；有新文本上下文不等于即刻进行预训练。 ### 基座能力与记忆边界 大量预训练得到的基座模型擅长按学到的分布续写，可能获得语言和多种任务能力，但不必天然稳定遵循助手格式或使用者意图。参数也不是可按文档地址逐条读取的传统数据库，不过模型有时会记忆并输出训练片段，因此不能简单说它绝不保存原文。生成的一句话可能新组合，也可能接近某段训练文本；若需要可追溯的事实，应另行检索与核验。下一课研究怎样进一步训练助手行为。 可以补充的例子：给前缀“题目：如何关闭台灯”，基座可能续写题目清单或回答；具体行为依模型和上下文，本课不预设必然输出。 应当停住的推论：知识截止、工具检索与输入材料影响不同，不能凭某次知道新事实反推基础参数何时训练。 ## 后置讲评：独立尝试结束后才展开 Q2 第一条配对为[清晨]→风、[清晨,风]→很、[清晨,风,很]→轻、[清晨,风,很,轻]→结束，共四对；三行生成十二对。指定前缀匹配三条，轻两次，概率 2/3≈0.666667，损失≈0.405465。 Q3 加一条凉后轻仍两次、总匹配四次，概率 0.5、损失≈0.693147；未见前缀匹配零，本模型未平滑，不能提供有限目标对数损失或编造延续。Q4 新句同样四对，最后为完整句子→结束，错卡目标应改结束。经验概率同为 2/3；另给定丙丁只在此目标比较，丙损失约 0.511 小于丁的 1.204。 Q5 原文当前位置之后的项提供目标，不由生成答案反过来指定；重复错误材料也可能被更好拟合。Q6 本页直接计数形成频数表，未求神经参数梯度；神经预训练以目标概率损失驱动反向与更新。低损失不等于事实真实，输出分布不等于可可靠查询的原文数据库。 ## 板书、补救与课后加深 - 原文保留下一位置 → 前缀—目标训练对。 - 同前缀目标次数 ÷ 同前缀总记录 → 经验概率。 - 神经模型：目标概率 → 损失 → 反向 → 更新；本页是计数模型。 使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。 选学多位置平均交叉熵、标签移位和损失掩码；写短脚本制作训练对，检查未来泄漏，再以小模型实际观察训练与验证损失，完整训练成本另评估。 深化内容另计时间；先保证本课独立练习完成。 ## 来源和实际完成范围 - [AIPath 对应课](https://aipath.buynao.com/#/lesson/12-pretraining)：用作课序与主题对应。 - [Brown et al.：Language Models are Few-Shot Learners（2020）](https://arxiv.org/abs/2005.14165)：核对自回归语言模型与上下文示例；教材接龙和概率均为原创简化模型。 - [Carlini et al.：Extracting Training Data from Large Language Models（2021）](https://arxiv.org/abs/2012.07805)：核对语言模型可能记忆并输出训练片段的边界；不教授提取个人数据。 - [PyTorch：Automatic Differentiation with torch.autograd](https://docs.pytorch.org/tutorials/beginner/basics/autogradqs_tutorial.html)：核对计算图、反向求梯度和梯度计算不等于参数更新。 新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 上一课弄清了文字怎样变成块，今天用已经切好的块制造练习题。老师不必逐条额外标注“正确下一块”，原文里下一位置就提供目标。先动手拆一句，再把这种信号叫自监督。 | 在工作纸记录本段问题：从已会切块继续往下 | 保留一句关于“从已会切块继续往下”的原始解释 | | 01:00—02:00 | 把本段材料留在屏幕，说明操作：Q1 看“清晨 风 很 轻 结束”，先猜能拆几道接龙题 | Q1 看“清晨 风 很 轻 结束”，先猜能拆几道接龙题 | 答案来源与原文位置对应 | | 02:00—03:00 | 逐人检查记录；只追问：目标答案能从原文哪一处取得？ | 对照刚才的输入和输出，回答：目标答案能从原文哪一处取得？ | 回答中标出本段的输入条件和一个中间量 | | 03:00—04:00 | 请一位学生读记录，检查是否完成：答案来源与原文位置对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在从已会切块继续往下旁保留修订痕迹 | 答案来源与原文位置对应 | | 04:00—05:00 | 给出前缀清晨，目标是紧随的风；前缀清晨风，目标是很。已经放进前缀的最后一项不能再次当作下一项答案。这个错位看似小，却会改变任务本身。 | 在工作纸记录本段问题：只遮住真正的下一项 | 保留一句关于“只遮住真正的下一项”的原始解释 | | 05:00—06:00 | 把本段材料留在屏幕，说明操作：Q2 手写第一条原文的全部前缀—目标对 | Q2 手写第一条原文的全部前缀—目标对 | 四对逐步增长的训练题 | | 06:00—07:00 | 逐人检查记录；只追问：前缀是否已经包含了你写的目标位置？ | 对照刚才的输入和输出，回答：前缀是否已经包含了你写的目标位置？ | 回答中标出本段的输入条件和一个中间量 | | 07:00—08:00 | 请一位学生读记录，检查是否完成：四对逐步增长的训练题。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在只遮住真正的下一项旁保留修订痕迹 | 四对逐步增长的训练题 | | 08:00—09:00 | 到完整句子清晨风很轻之后，题目给的下一项是结束。今天显式写出结束标记，是为了让停止也有训练目标；真实编码还可能有其他特殊符号，本例不额外引入。 | 在工作纸记录本段问题：结束也是一个条件 | 保留一句关于“结束也是一个条件”的原始解释 | | 09:00—10:00 | 把本段材料留在屏幕，说明操作：圈出最后一对及结束标记的作用 | 圈出最后一对及结束标记的作用 | 停止目标与普通文本区别 | | 10:00—11:00 | 逐人检查记录；只追问：没有结束约定时，什么时候算应该停？ | 对照刚才的输入和输出，回答：没有结束约定时，什么时候算应该停？ | 回答中标出本段的输入条件和一个中间量 | | 11:00—12:00 | 请一位学生读记录，检查是否完成：停止目标与普通文本区别。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在结束也是一个条件旁保留修订痕迹 | 停止目标与普通文本区别 | | 12:00—13:00 | 本页不是神经网络，而是遇到完全相同前缀就数下一项出现几次。三条材料中两条接轻、一条接凉，程序真正从当前语料生成频数表。它很笨，但训练信号和概率含义都看得清。 | 在工作纸记录本段问题：用小统计表替代大网络 | 保留一句关于“用小统计表替代大网络”的原始解释 | | 13:00—14:00 | 把本段材料留在屏幕，说明操作：Q2 手数查询前缀的后续次数，再运行 | Q2 手数查询前缀的后续次数，再运行 | 完整前缀匹配限制明确 | | 14:00—15:00 | 逐人检查记录；只追问：它是否会把意思相近但不同文字的前缀自动合并？ | 对照刚才的输入和输出，回答：它是否会把意思相近但不同文字的前缀自动合并？ | 回答中标出本段的输入条件和一个中间量 | | 15:00—16:00 | 请一位学生读记录，检查是否完成：完整前缀匹配限制明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在用小统计表替代大网络旁保留修订痕迹 | 完整前缀匹配限制明确 | | 16:00—17:00 | 某个后续出现两次，总共有三条匹配记录，经验概率就是二除以三。它描述这份材料里的条件频率，不保证现实中的风有三分之二是轻的，更不是经过校准的世界知识。 | 在工作纸记录本段问题：频率是一把怎样的尺子 | 保留一句关于“频率是一把怎样的尺子”的原始解释 | | 17:00—18:00 | 把本段材料留在屏幕，说明操作：记录匹配条数、目标次数、相除结果 | 记录匹配条数、目标次数、相除结果 | 正确条件分母 | | 18:00—19:00 | 逐人检查记录；只追问：分母是所有训练对，还是相同前缀的记录数？ | 对照刚才的输入和输出，回答：分母是所有训练对，还是相同前缀的记录数？ | 回答中标出本段的输入条件和一个中间量 | | 19:00—20:00 | 请一位学生读记录，检查是否完成：正确条件分母。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在频率是一把怎样的尺子旁保留修订痕迹 | 正确条件分母 | | 20:00—21:00 | 为了比较对这一个目标的预测，用负自然对数把概率变成损失。概率越接近一，这项损失越小。先观察两个具体概率对应的数，不要求初学者先推导对数函数的所有性质。 | 在工作纸记录本段问题：让目标概率连接损失 | 保留一句关于“让目标概率连接损失”的原始解释 | | 21:00—22:00 | 把本段材料留在屏幕，说明操作：Q3 记录当前概率和程序损失，用普通计算器核对一次 | Q3 记录当前概率和程序损失，用普通计算器核对一次 | 目标概率与损失对应 | | 22:00—23:00 | 逐人检查记录；只追问：用来求损失的是目标那一项还是最大的候选项？ | 对照刚才的输入和输出，回答：用来求损失的是目标那一项还是最大的候选项？ | 回答中标出本段的输入条件和一个中间量 | | 23:00—24:00 | 请一位学生读记录，检查是否完成：目标概率与损失对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在让目标概率连接损失旁保留修订痕迹 | 目标概率与损失对应 | | 24:00—25:00 | 添加一条以凉结束的同前缀材料，其他不动。先猜轻的次数、分母和概率分别怎样变。目标次数未变但分母变大，可以让概率下降，这比只背“数据影响模型”更具体。 | 在工作纸记录本段问题：只多加一条另一延续 | 保留一句关于“只多加一条另一延续”的原始解释 | | 25:00—26:00 | 把本段材料留在屏幕，说明操作：Q3 添加一条凉记录，运行并对照两轮频数 | Q3 添加一条凉记录，运行并对照两轮频数 | 次数与分母变化明确 | | 26:00—27:00 | 逐人检查记录；只追问：概率变化来自目标次数还是其他延续次数？ | 对照刚才的输入和输出，回答：概率变化来自目标次数还是其他延续次数？ | 回答中标出本段的输入条件和一个中间量 | | 27:00—28:00 | 请一位学生读记录，检查是否完成：次数与分母变化明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在只多加一条另一延续旁保留修订痕迹 | 次数与分母变化明确 | | 28:00—29:00 | 把查询改成从未见过的完整前缀。这个频数模型查不到，不进行语义类推；页面会显示零匹配。神经语言模型的能力更复杂，但不能把它们可能的泛化能力冒充成本页已有能力。 | 在工作纸记录本段问题：未见前缀不能假装知道 | 保留一句关于“未见前缀不能假装知道”的原始解释 | | 29:00—30:00 | 把本段材料留在屏幕，说明操作：试一次未见前缀，记录返回范围 | 试一次未见前缀，记录返回范围 | 明确未覆盖而非伪造预测 | | 30:00—31:00 | 逐人检查记录；只追问：零记录能否合理换成你喜欢的答案？ | 对照刚才的输入和输出，回答：零记录能否合理换成你喜欢的答案？ | 回答中标出本段的输入条件和一个中间量 | | 31:00—32:00 | 请一位学生读记录，检查是否完成：明确未覆盖而非伪造预测。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在未见前缀不能假装知道旁保留修订痕迹 | 明确未覆盖而非伪造预测 | | 32:00—33:00 | 假如语料反复出现一个错误说法，频数表也会照数不误。学习目标来自资料，不等于资料自动真实。大规模预训练带来能力，同时也要面对噪声、偏见、重复和信息缺失。 | 在工作纸记录本段问题：损失低也不是事实保证 | 保留一句关于“损失低也不是事实保证”的原始解释 | | 33:00—34:00 | 把本段材料留在屏幕，说明操作：Q5 解释重复错误材料会给本频数表带来什么 | Q5 解释重复错误材料会给本频数表带来什么 | 拟合材料与事实核验分开 | | 34:00—35:00 | 逐人检查记录；只追问：低损失是在拟合什么，是否已经核验真实世界？ | 对照刚才的输入和输出，回答：低损失是在拟合什么，是否已经核验真实世界？ | 回答中标出本段的输入条件和一个中间量 | | 35:00—36:00 | 请一位学生读记录，检查是否完成：拟合材料与事实核验分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在损失低也不是事实保证旁保留修订痕迹 | 拟合材料与事实核验分开 | | 36:00—37:00 | Q4 改成傍晚灯逐渐亮起的序列，先手写所有配对。另有一张错题卡把已含亮起的完整句子再次指向亮起，请找出目标位置错误。教师只检查索引，不先修答案。 | 在工作纸记录本段问题：独立新句子拆题 | 保留一句关于“独立新句子拆题”的原始解释 | | 37:00—38:00 | 把本段材料留在屏幕，说明操作：Q4 为新句写前缀与目标，并诊断错题卡 | Q4 为新句写前缀与目标，并诊断错题卡 | 新句全部配对和错位依据 | | 38:00—39:00 | 逐人检查记录；只追问：完整句子后面原文下一块实际位于哪里？ | 对照刚才的输入和输出，回答：完整句子后面原文下一块实际位于哪里？ | 回答中标出本段的输入条件和一个中间量 | | 39:00—40:00 | 请一位学生读记录，检查是否完成：新句全部配对和错位依据。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立新句子拆题旁保留修订痕迹 | 新句全部配对和错位依据 | | 40:00—41:00 | Q4 语料两条亮起、一条熄灭，先算相同前缀的经验概率。另给模型丙亮起 0.6、丁亮起 0.3，它们是固定材料，不要同频数表混算成一次训练。 | 在工作纸记录本段问题：独立频数与预设模型比较 | 保留一句关于“独立频数与预设模型比较”的原始解释 | | 41:00—42:00 | 把本段材料留在屏幕，说明操作：Q4 运行新语料，再分别比较预设丙丁的目标损失 | Q4 运行新语料，再分别比较预设丙丁的目标损失 | 两类概率来源分开 | | 42:00—43:00 | 逐人检查记录；只追问：哪组概率由当前频数算出，哪组只是题目给定？ | 对照刚才的输入和输出，回答：哪组概率由当前频数算出，哪组只是题目给定？ | 回答中标出本段的输入条件和一个中间量 | | 43:00—44:00 | 请一位学生读记录，检查是否完成：两类概率来源分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立频数与预设模型比较旁保留修订痕迹 | 两类概率来源分开 | | 44:00—45:00 | 交换配对表，沿原句标每个目标的位置。概率比较则检查用了正确目标列。有人用熄灭概率求亮起损失，先纠正目标对应，不必重新讲整套对数数学。 | 在工作纸记录本段问题：同伴逐条检查目标来源 | 保留一句关于“同伴逐条检查目标来源”的原始解释 | | 45:00—46:00 | 把本段材料留在屏幕，说明操作：Q5 核对同伴一对训练题与一个损失输入 | Q5 核对同伴一对训练题与一个损失输入 | 原文—目标—概率连接清楚 | | 46:00—47:00 | 逐人检查记录；只追问：目标来自原文还是来自模型刚刚猜出的句子？ | 对照刚才的输入和输出，回答：目标来自原文还是来自模型刚刚猜出的句子？ | 回答中标出本段的输入条件和一个中间量 | | 47:00—48:00 | 请一位学生读记录，检查是否完成：原文—目标—概率连接清楚。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在同伴逐条检查目标来源旁保留修订痕迹 | 原文—目标—概率连接清楚 | | 48:00—49:00 | 独立句子拆出四对，完整句子后应是结束。两亮一灭的经验概率为三分之二，损失约 0.405465。预设丙的 0.6 对应约 0.511，丁的 0.3 对应约 1.204，这一位置丙更低。 | 在工作纸记录本段问题：此时讲评三份答案 | 保留一句关于“此时讲评三份答案”的原始解释 | | 49:00—50:00 | 把本段材料留在屏幕，说明操作：修订 Q4，给不同来源的概率加标签 | 修订 Q4，给不同来源的概率加标签 | 限定为当前目标与材料 | | 50:00—51:00 | 逐人检查记录；只追问：一项损失较低能否证明整模型所有任务更好？ | 对照刚才的输入和输出，回答：一项损失较低能否证明整模型所有任务更好？ | 回答中标出本段的输入条件和一个中间量 | | 51:00—52:00 | 请一位学生读记录，检查是否完成：限定为当前目标与材料。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在此时讲评三份答案旁保留修订痕迹 | 限定为当前目标与材料 | | 52:00—53:00 | 神经模型也用目标概率形成损失，但随后通过反向传播和优化器调大量参数。今天的统计表直接计数，不是执行那套参数更新。把共同的训练目标与不同的实现方法分别说明。 | 在工作纸记录本段问题：把统计与神经训练接上 | 保留一句关于“把统计与神经训练接上”的原始解释 | | 53:00—54:00 | 把本段材料留在屏幕，说明操作：Q6 对比频数拟合与神经网络损失—反向—更新 | Q6 对比频数拟合与神经网络损失—反向—更新 | 目标相似与实现不同的界限 | | 54:00—55:00 | 逐人检查记录；只追问：本页哪一处真的执行了神经参数更新？ | 对照刚才的输入和输出，回答：本页哪一处真的执行了神经参数更新？ | 回答中标出本段的输入条件和一个中间量 | | 55:00—56:00 | 请一位学生读记录，检查是否完成：目标相似与实现不同的界限。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把统计与神经训练接上旁保留修订痕迹 | 目标相似与实现不同的界限 | | 56:00—57:00 | 参数可以学习规律，也可能记住某些片段，但不能把它当可靠逐条检索原文的数据库。今天如果要找原句，可以查我们保留的语料表；输出概率本身不是来源引用。 | 在工作纸记录本段问题：离堂不把模型当原文仓库 | 保留一句关于“离堂不把模型当原文仓库”的原始解释 | | 57:00—58:00 | 把本段材料留在屏幕，说明操作：Q6 写训练信号、损失意义和来源核验的一句话 | Q6 写训练信号、损失意义和来源核验的一句话 | 语言预测与可追溯来源区别 | | 58:00—59:00 | 逐人检查记录；只追问：你怎样证明一条回答来自哪条原始记录？ | 对照刚才的输入和输出，回答：你怎样证明一条回答来自哪条原始记录？ | 回答中标出本段的输入条件和一个中间量 | | 59:00—60:00 | 请一位学生读记录，检查是否完成：语言预测与可追溯来源区别。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在离堂不把模型当原文仓库旁保留修订痕迹 | 语言预测与可追溯来源区别 | --- # 第 12 课参考答案与评分｜从原句拆出训练题，再统计下一块可能是什么 仅在独立题结束后展开。首次预测不按对错扣分；下列固定算例的答案来自明确的输入与算法。 Q2 第一条配对为[清晨]→风、[清晨,风]→很、[清晨,风,很]→轻、[清晨,风,很,轻]→结束，共四对；三行生成十二对。指定前缀匹配三条，轻两次，概率 2/3≈0.666667，损失≈0.405465。 Q3 加一条凉后轻仍两次、总匹配四次，概率 0.5、损失≈0.693147；未见前缀匹配零，本模型未平滑，不能提供有限目标对数损失或编造延续。Q4 新句同样四对，最后为完整句子→结束，错卡目标应改结束。经验概率同为 2/3；另给定丙丁只在此目标比较，丙损失约 0.511 小于丁的 1.204。 Q5 原文当前位置之后的项提供目标，不由生成答案反过来指定；重复错误材料也可能被更好拟合。Q6 本页直接计数形成频数表，未求神经参数梯度；神经预训练以目标概率损失驱动反向与更新。低损失不等于事实真实，输出分布不等于可可靠查询的原文数据库。 ## 10 分评分 分母是“这个完整前缀在训练配对中出现几次”，不是语料总词数，也不是所有前缀对的十二。添加凉句后，轻的次数没有减少，但它在相同前缀后的比例下降，所以对应目标损失上升。未见前缀与已见前缀中目标次数为零要分开：前者没有可估条件分布，后者在未平滑频数模型下目标概率为零，负对数损失没有有限值；两者都不能靠随便补一个小数装成真实统计结果。 - Q1—Q2：保留预测并正确展示默认条件的一个手算中间量，2 分；不因预测猜错扣分。 - Q3：按题目只改一个条件，记录原值、新值和实际变化，2 分。 - Q4：独立材料中的计算或检查过程可复算，2 分。 - Q5：解释本课机制并指出证据对应哪一步，2 分。 - Q6：迁移题与离堂题明确实验边界，2 分。 评分时应接受含义相同的学生表述。若输入条件与题目不同，先标记为另一轮实验，再要求补做指定条件；不要将不同条件的输出直接判成同一题的答案。