第 12 课教师讲稿｜从原句拆出训练题，再统计下一块可能是什么

本课在 AIPath 的第 3 阶段，沿用原课主题“预训练：用整个互联网玩文字接龙”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

学完能做什么

• 能从已切块原文构造所有非空前缀与下一项目标，发现目标错位。
• 能从同前缀记录计算经验概率与目标负对数损失，解释增加另一延续的影响。
• 能区分频数拟合、神经参数训练与固定模型生成，并说明未见前缀和事实核验边界。

贯穿问题：下一项训练答案从哪里来，更多重复材料怎样改变条件频数？

课前准备与完整实验材料

教师先在本课页面找到“前缀目标配对与频数模型”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

本页真实把语料逐行拆成所有非空前缀—下一项对，再建立完全相同前缀的后续频数表。没有平滑、相似前缀泛化或神经网络训练；显示的概率确实由用户材料计算。

• 已切块训练语料，每行空格分隔（输入框 corpus）初始为：

清晨 风 很 轻 <结束>
清晨 风 很 轻 <结束>
清晨 风 很 凉 <结束>

• 要查询的完整前缀（输入框 prefix）初始为：

清晨 风 很

• 要评价的下一块目标（输入框 target）初始为：

轻

标记 <结束> 作为文本块参与目标，按普通文字显示而非 HTML。目标概率为零时不人为填小正数，明确说明本例不能提供有限对数损失。预设丙丁概率仅用于另一纸面比较，不能当作频数模型实际输出。

0—60 分钟：可以顺着使用的讲稿

0—4 分钟｜从已会切块继续往下

教师可以这样说：“上一课弄清了文字怎样变成块，今天用已经切好的块制造练习题。老师不必逐条额外标注“正确下一块”，原文里下一位置就提供目标。先动手拆一句，再把这种信号叫自监督。”

学生具体动作。 Q1 看“清晨 风 很 轻 结束”，先猜能拆几道接龙题。

教师在桌边怎样追问。 目标答案能从原文哪一处取得？

本段要收集的证据。 答案来源与原文位置对应。

4—8 分钟｜只遮住真正的下一项

教师可以这样说：“给出前缀清晨，目标是紧随的风；前缀清晨风，目标是很。已经放进前缀的最后一项不能再次当作下一项答案。这个错位看似小，却会改变任务本身。”

学生具体动作。 Q2 手写第一条原文的全部前缀—目标对。

教师在桌边怎样追问。 前缀是否已经包含了你写的目标位置？

本段要收集的证据。 四对逐步增长的训练题。

8—12 分钟｜结束也是一个条件

教师可以这样说：“到完整句子清晨风很轻之后，题目给的下一项是结束。今天显式写出结束标记，是为了让停止也有训练目标；真实编码还可能有其他特殊符号，本例不额外引入。”

学生具体动作。 圈出最后一对及结束标记的作用。

教师在桌边怎样追问。 没有结束约定时，什么时候算应该停？

本段要收集的证据。 停止目标与普通文本区别。

12—16 分钟｜用小统计表替代大网络

教师可以这样说：“本页不是神经网络，而是遇到完全相同前缀就数下一项出现几次。三条材料中两条接轻、一条接凉，程序真正从当前语料生成频数表。它很笨，但训练信号和概率含义都看得清。”

学生具体动作。 Q2 手数查询前缀的后续次数，再运行。

教师在桌边怎样追问。 它是否会把意思相近但不同文字的前缀自动合并？

本段要收集的证据。 完整前缀匹配限制明确。

16—20 分钟｜频率是一把怎样的尺子

教师可以这样说：“某个后续出现两次，总共有三条匹配记录，经验概率就是二除以三。它描述这份材料里的条件频率，不保证现实中的风有三分之二是轻的，更不是经过校准的世界知识。”

学生具体动作。 记录匹配条数、目标次数、相除结果。

教师在桌边怎样追问。 分母是所有训练对，还是相同前缀的记录数？

本段要收集的证据。 正确条件分母。

20—24 分钟｜让目标概率连接损失

教师可以这样说：“为了比较对这一个目标的预测，用负自然对数把概率变成损失。概率越接近一，这项损失越小。先观察两个具体概率对应的数，不要求初学者先推导对数函数的所有性质。”

学生具体动作。 Q3 记录当前概率和程序损失，用普通计算器核对一次。

教师在桌边怎样追问。 用来求损失的是目标那一项还是最大的候选项？

本段要收集的证据。 目标概率与损失对应。

24—28 分钟｜只多加一条另一延续

教师可以这样说：“添加一条以凉结束的同前缀材料，其他不动。先猜轻的次数、分母和概率分别怎样变。目标次数未变但分母变大，可以让概率下降，这比只背“数据影响模型”更具体。”

学生具体动作。 Q3 添加一条凉记录，运行并对照两轮频数。

教师在桌边怎样追问。 概率变化来自目标次数还是其他延续次数？

本段要收集的证据。 次数与分母变化明确。

28—32 分钟｜未见前缀不能假装知道

教师可以这样说：“把查询改成从未见过的完整前缀。这个频数模型查不到，不进行语义类推；页面会显示零匹配。神经语言模型的能力更复杂，但不能把它们可能的泛化能力冒充成本页已有能力。”

学生具体动作。 试一次未见前缀，记录返回范围。

教师在桌边怎样追问。 零记录能否合理换成你喜欢的答案？

本段要收集的证据。 明确未覆盖而非伪造预测。

32—36 分钟｜损失低也不是事实保证

教师可以这样说：“假如语料反复出现一个错误说法，频数表也会照数不误。学习目标来自资料，不等于资料自动真实。大规模预训练带来能力，同时也要面对噪声、偏见、重复和信息缺失。”

学生具体动作。 Q5 解释重复错误材料会给本频数表带来什么。

教师在桌边怎样追问。 低损失是在拟合什么，是否已经核验真实世界？

本段要收集的证据。 拟合材料与事实核验分开。

36—40 分钟｜独立新句子拆题

教师可以这样说：“Q4 改成傍晚灯逐渐亮起的序列，先手写所有配对。另有一张错题卡把已含亮起的完整句子再次指向亮起，请找出目标位置错误。教师只检查索引，不先修答案。”

学生具体动作。 Q4 为新句写前缀与目标，并诊断错题卡。

教师在桌边怎样追问。 完整句子后面原文下一块实际位于哪里？

本段要收集的证据。 新句全部配对和错位依据。

40—44 分钟｜独立频数与预设模型比较

教师可以这样说：“Q4 语料两条亮起、一条熄灭，先算相同前缀的经验概率。另给模型丙亮起 0.6、丁亮起 0.3，它们是固定材料，不要同频数表混算成一次训练。”

学生具体动作。 Q4 运行新语料，再分别比较预设丙丁的目标损失。

教师在桌边怎样追问。 哪组概率由当前频数算出，哪组只是题目给定？

本段要收集的证据。 两类概率来源分开。

44—48 分钟｜同伴逐条检查目标来源

教师可以这样说：“交换配对表，沿原句标每个目标的位置。概率比较则检查用了正确目标列。有人用熄灭概率求亮起损失，先纠正目标对应，不必重新讲整套对数数学。”

学生具体动作。 Q5 核对同伴一对训练题与一个损失输入。

教师在桌边怎样追问。 目标来自原文还是来自模型刚刚猜出的句子？

本段要收集的证据。 原文—目标—概率连接清楚。

48—52 分钟｜此时讲评三份答案

教师可以这样说：“独立句子拆出四对，完整句子后应是结束。两亮一灭的经验概率为三分之二，损失约 0.405465。预设丙的 0.6 对应约 0.511，丁的 0.3 对应约 1.204，这一位置丙更低。”

学生具体动作。 修订 Q4，给不同来源的概率加标签。

教师在桌边怎样追问。 一项损失较低能否证明整模型所有任务更好？

本段要收集的证据。 限定为当前目标与材料。

52—56 分钟｜把统计与神经训练接上

教师可以这样说：“神经模型也用目标概率形成损失，但随后通过反向传播和优化器调大量参数。今天的统计表直接计数，不是执行那套参数更新。把共同的训练目标与不同的实现方法分别说明。”

学生具体动作。 Q6 对比频数拟合与神经网络损失—反向—更新。

教师在桌边怎样追问。 本页哪一处真的执行了神经参数更新？

本段要收集的证据。 目标相似与实现不同的界限。

56—60 分钟｜离堂不把模型当原文仓库

教师可以这样说：“参数可以学习规律，也可能记住某些片段，但不能把它当可靠逐条检索原文的数据库。今天如果要找原句，可以查我们保留的语料表；输出概率本身不是来源引用。”

学生具体动作。 Q6 写训练信号、损失意义和来源核验的一句话。

教师在桌边怎样追问。 你怎样证明一条回答来自哪条原始记录？

本段要收集的证据。 语言预测与可追溯来源区别。

教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

从原文构造自监督目标

预训练可以利用大规模数据学习通用表示，现代自回归语言模型常用下一Token预测任务：给出前缀，目标取原文紧随其后的Token。目标来自数据本身，所以不必让人逐条另写答案，但收集、筛选、清洗和授权等工作仍存在成本。切分完的一条序列能提供多个训练位置，每个位置的可见内容必须符合因果约束。标题中的“整个互联网”只是通俗比喻，真实训练集是有范围、有选择的数据集合。

可以补充的例子：[清晨,风,很,轻,结束]可产生[清晨,风]→很；不能把“很”先放入这个前缀再说模型预测成功。

应当停住的推论：课堂数据由教师编写，不证明任何真实模型读过某个网站或某段私有文本。

概率分布与预测损失

模型对词表候选给出概率分布，训练观察真实目标获得了多少概率。常见交叉熵在单一目标位置可理解为真实目标概率的负对数：概率越低，惩罚越高。今天给查表值，不要求求对数。某次生成碰巧猜中与训练质量不是同一件事；优化会利用目标概率的连续信息，而不只是对错计数。训练损失还要在多个有效位置或样本上按规定汇总。

可以补充的例子：目标“轻”时模型甲给0.8，对应自然对数损失约0.223；模型乙给0.2，对应约1.609，甲此位置损失更低。

应当停住的推论：一次较低损失不代表事实可靠，语料中错误或重复信息也能成为被预测的目标。

从目标到参数更新

有了预测分布和目标损失，训练再通过反向传播计算梯度，由优化器更新参数。许多文本位置和批次反复执行，使模型更能拟合相关语言规律。模型的规模、结构、数据和优化方法共同影响结果，不能把“下一Token目标简单”误解为内部算法也只按相邻词频查表。它可以利用长前缀进行复杂变换，但训练目标仍不能直接保证每种能力和事实都正确。

可以补充的例子：本课的0.8与0.2是两个教师设定的候选状态，只用于比较损失；我们没有算真实大模型梯度，不能写已经训练出模型。

应当停住的推论：普通输入回复一般是固定参数推理；有新文本上下文不等于即刻进行预训练。

基座能力与记忆边界

大量预训练得到的基座模型擅长按学到的分布续写，可能获得语言和多种任务能力，但不必天然稳定遵循助手格式或使用者意图。参数也不是可按文档地址逐条读取的传统数据库，不过模型有时会记忆并输出训练片段，因此不能简单说它绝不保存原文。生成的一句话可能新组合，也可能接近某段训练文本；若需要可追溯的事实，应另行检索与核验。下一课研究怎样进一步训练助手行为。

可以补充的例子：给前缀“题目：如何关闭台灯”，基座可能续写题目清单或回答；具体行为依模型和上下文，本课不预设必然输出。

应当停住的推论：知识截止、工具检索与输入材料影响不同，不能凭某次知道新事实反推基础参数何时训练。

后置讲评：独立尝试结束后才展开

Q2 第一条配对为[清晨]→风、[清晨,风]→很、[清晨,风,很]→轻、[清晨,风,很,轻]→结束，共四对；三行生成十二对。指定前缀匹配三条，轻两次，概率 2/3≈0.666667，损失≈0.405465。

Q3 加一条凉后轻仍两次、总匹配四次，概率 0.5、损失≈0.693147；未见前缀匹配零，本模型未平滑，不能提供有限目标对数损失或编造延续。Q4 新句同样四对，最后为完整句子→结束，错卡目标应改结束。经验概率同为 2/3；另给定丙丁只在此目标比较，丙损失约 0.511 小于丁的 1.204。

Q5 原文当前位置之后的项提供目标，不由生成答案反过来指定；重复错误材料也可能被更好拟合。Q6 本页直接计数形成频数表，未求神经参数梯度；神经预训练以目标概率损失驱动反向与更新。低损失不等于事实真实，输出分布不等于可可靠查询的原文数据库。

板书、补救与课后加深

• 原文保留下一位置 → 前缀—目标训练对。
• 同前缀目标次数 ÷ 同前缀总记录 → 经验概率。
• 神经模型：目标概率 → 损失 → 反向 → 更新；本页是计数模型。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

选学多位置平均交叉熵、标签移位和损失掩码；写短脚本制作训练对，检查未来泄漏，再以小模型实际观察训练与验证损失，完整训练成本另评估。 深化内容另计时间；先保证本课独立练习完成。

来源和实际完成范围

• AIPath 对应课：用作课序与主题对应。
• Brown et al.：Language Models are Few-Shot Learners（2020）：核对自回归语言模型与上下文示例；教材接龙和概率均为原创简化模型。
• Carlini et al.：Extracting Training Data from Large Language Models（2021）：核对语言模型可能记忆并输出训练片段的边界；不教授提取个人数据。
• PyTorch：Automatic Differentiation with torch.autograd：核对计算图、反向求梯度和梯度计算不等于参数更新。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。