第 10 课教师讲稿｜一边看允许位置，一边追踪文字怎样接着生成

本课在 AIPath 的第 2 阶段，沿用原课主题“Transformer：改变一切的架构”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

学完能做什么

• 能按位置画因果可见表，识别看未来信息的反例。
• 能按给定候选分布执行贪心选择、更新前缀，并在结束标记或观察上限停下。
• 能区分架构、参数模型、产品以及本页实际计算与固定材料重放。

贯穿问题：文字越写越长时，哪些东西变了，哪些模型设置没有变？

课前准备与完整实验材料

教师先在本课页面找到“因果可见表与固定分布解码重放”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

上半页根据当前文字块与规则真实生成许可矩阵；下半页重放教师给定概率材料，真实执行最大值选择和停止判断，但概率不是由模型运行产生。

• 已排好的文字块（英文逗号分隔）（输入框 tokens）初始为：

鸟,看见,船

• 查看第几个位置（从 1 开始）（输入框 position）初始为：

2

• 位置可见规则（输入框 visibility）初始为：

causal

• 固定候选材料（输入框 scenario）初始为：

lamp

• 最多观察几次候选选择（输入框 limit）初始为：

3

观察次数是上限，不是要求强行生成那么多项。遇到结束立即停止；达到上限而没遇到结束要写“尚未观察到结束”。教师应把演示分成许可表与固定分布两部分，不能混说成端到端模型。

0—60 分钟：可以顺着使用的讲稿

0—4 分钟｜先承接上一课的资格限制

教师可以这样说：“上一课禁止一个位置后重新分配了权重。现在把这个想法放进按顺序生成文字的过程：一个位置只能使用已经出现的材料。先把资格画成表，不要求第一分钟知道 Transformer 的全部结构。”

学生具体动作。 Q1 写三个块“鸟、看见、船”，猜第二位置能看哪几块。

教师在桌边怎样追问。 第三块若是待预测答案，提前看它会有什么问题？

本段要收集的证据。 初始可见性猜测保留。

4—8 分钟｜矩阵只是整齐的许可表

教师可以这样说：“表的行表示正在处理哪个位置，列表示候选参考位置。允许就打勾，禁止就留叉。所谓因果遮挡先理解为这样的许可约定，不把表格外观当成高深数学。”

学生具体动作。 Q2 手画三行三列，为每行标可看位置。

教师在桌边怎样追问。 行和列分别指当前谁、参考谁？

本段要收集的证据。 三行可见关系有方向。

8—12 分钟｜用真实计算核对掩码

教师可以这样说：“现在运行默认材料，在程序表中查第二行。第一个位置、第二个位置各能参考哪些编号，都由同一规则算出。这个表确实计算了，但还没有做词向量投影、注意力或概率预测。”

学生具体动作。 Q2 对照手画表与程序表，定位一格。

教师在桌边怎样追问。 这一格允许是否意味着该位置一定得到高权重？

本段要收集的证据。 允许资格与权重大小分开。

12—16 分钟｜故意打开未来作反例

教师可以这样说：“只把可见规则改成所有位置可看。表中哪些格从禁止变允许，先预测再观察。这是帮助理解泄漏的反例，不是在推荐生成模型用未来真实答案来获得漂亮成绩。”

学生具体动作。 Q3 切换规则，记录第二行多了哪一项。

教师在桌边怎样追问。 反例设置在训练接龙任务中会泄露什么？

本段要收集的证据。 未来信息的具体位置被指出。

16—20 分钟｜顺序交换会改变意思

教师可以这样说：““鸟看见船”与“船看见鸟”使用相同词块，关系不同。模型需要位置机制配合内容表示，不能把三块当成无序词袋。页面只是显示次序和许可，不计算完整位置编码。”

学生具体动作。 Q3 交换首尾块，写两句意思差别。

教师在桌边怎样追问。 相同词集合为什么不能直接视为同一句？

本段要收集的证据。 主体客体及顺序改变明确。

20—24 分钟｜把整个生成路径串起来

教师可以这样说：“输入先切块编号，再得到向量并结合位置信息，经过若干处理块输出下一块候选分布，最后选择一项追加。先把这些步骤排好；其中概率选择属于解码规则，不等于注意力内部配比。”

学生具体动作。 Q5 排列文字、编号、位置向量、处理块、分布、选择追加。

教师在桌边怎样追问。 选择词表候选与汇总上下文位置有什么不同？

本段要收集的证据。 两种分布的对象明确。

24—28 分钟｜从给定分布亲手选一次

教师可以这样说：“页面下半部分的概率是教师事先写好的材料。第一轮给蓝 0.6、红 0.3、结束 0.1，按贪心取最大。它演示怎样读分布和选择，不伪装成运行了真实大模型。”

学生具体动作。 手选第一项，再查看固定分布重放的第一行。

教师在桌边怎样追问。 这三个概率是程序训练算出的吗？

本段要收集的证据。 预设分布与实际选最大分开。

28—32 分钟｜新前缀再走下一轮

教师可以这样说：“选定一块后把它加在前缀末尾，然后在这个前缀下使用下一轮给定分布。不能把第一轮概率重复用到底。遇到结束标记就停，标记本身不当作普通文字追加。”

学生具体动作。 记录教师材料三轮选择前前缀与所选项。

教师在桌边怎样追问。 第二轮的条件为什么不同于第一轮？

本段要收集的证据。 前缀增长与停止规则明确。

32—36 分钟｜区分架构模型产品

教师可以这样说：“一张结构设计图、一套经过训练的参数、一个带文件上传与工具的界面，是不同层级。谈 Transformer 时主要在说架构，不能由一个界面功能直接推出全部内部结构。”

学生具体动作。 Q5 给结构图、参数版本、聊天界面三卡分类。

教师在桌边怎样追问。 上传文件的按钮能否证明模型参数已更新？

本段要收集的证据。 三层级与参数更新区别。

36—40 分钟｜独立遮挡与新材料

教师可以这样说：“Q4 改为收到、钥匙、了三块，分别写三个位置的允许集合，再用页面验证。不要把刚才反例的全可见状态忘记恢复。教师先核对设置，不公布结果。”

学生具体动作。 Q4 恢复因果规则，手画新三块的许可表。

教师在桌边怎样追问。 实验当前是因果规则还是反例规则？

本段要收集的证据。 独立表与运行设置一致。

40—44 分钟｜独立追踪结束候选

教师可以这样说：“Q4 选择“桌面有”材料。题面给出两轮分布，请先自行选最大并写新前缀；没有要求必须补成更自然的句子，结束候选如果最大也要遵守规则。”

学生具体动作。 Q4 手算两轮候选选择后运行，记录停止原因。

教师在桌边怎样追问。 你依据概率还是依据自己的语言偏好在选择？

本段要收集的证据。 选择规则与停止证据对应。

44—48 分钟｜同伴检查变与不变

教师可以这样说：“互换独立题，圈出前缀变长的时刻，再找本页有没有反向求梯度、更新参数。使用上下文算新结果与训练权重不同，不能单凭新文字出现就说模型在学习。”

学生具体动作。 Q5 用记录说明当前输入、输出与参数的变化情况。

教师在桌边怎样追问。 哪一步实际提供训练目标并更新了参数？

本段要收集的证据。 推理输入增长与训练区分。

48—52 分钟｜现在讲评停止位置

教师可以这样说：“独立材料第一轮书最大，前缀变为桌面有书；第二轮结束概率 0.65 最大，所以停止，不能继续添本。因果允许集合依次是一、一二、一二三。若答案错，多半是漏看结束候选或未恢复掩码。”

学生具体动作。 修订 Q4，标明错误发生的具体设置或选择行。

教师在桌边怎样追问。 结果短一些是否意味着违反了给定贪心规则？

本段要收集的证据。 修订保留停止规则。

52—56 分钟｜注意力只是结构的一部分

教师可以这样说：“Transformer 块还包含前馈计算、残差和归一化等部件，不应把它说成一张注意力图。今天用流程定位这些部分，计算细节后续再逐步理解；架构名称并不直接保证产品可靠。”

学生具体动作。 Q6 在流程中标出注意力以外的部件位置。

教师在桌边怎样追问。 页面计算掩码，是否就完成了整个 Transformer？

本段要收集的证据。 局部演示与完整架构边界。

56—60 分钟｜离堂把本页做过什么说准确

教师可以这样说：“请写两句：一张可见表由规则实时计算；几轮文字由预设概率按贪心重放。再说明没有训练或调用真实模型。准确描述完成范围，也是以后评价 AI 演示是否可信的能力。”

学生具体动作。 Q6 提交两部分证据和一条尚未执行的步骤。

教师在桌边怎样追问。 哪部分能通过改输入看到实时计算，哪部分只是固定材料？

本段要收集的证据。 计算与固定重放清楚分开。

教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

架构模型与产品的层级

Transformer是组织计算组件的一类架构，不是一份固定的知识库或一个账号。训练给具体结构中的参数确定数值，才得到某个已训练模型；聊天产品还可能把它连接到检索、工具、记忆、权限和界面。三个层级不同，不能看到产品名称就断言精确层数或内部全部组件。最初论文提出特定编码器与解码器结构，后来出现多种变体；本课为理解生成，画一个简化解码器式数据流。

可以补充的例子：“Transformer”是结构家族；“某个参数文件版本”属于模型；“带上传按钮的聊天网页”属于产品。

应当停住的推论：教学图不是某款服务内部已核实的完整架构，也不证明所有AI都使用Transformer。

文本入口与顺序信息

文本先切成Token并转成编号，接着查嵌入表得到向量，网络还需要位置或顺序机制，否则相同内容不同顺序的关系难以区分。位置处理有多种方式，最初的加法位置编码只是其中一种。今天只在纸上加位置编号，帮助看出“甲追乙”与“乙追甲”虽然词相同，谁在前后却不同。编号、位置、向量是三个角色，不要把位置1误作文本块编号1。

可以补充的例子：[甲,追,乙]与[乙,追,甲]使用相同词表条目，但位置分配不同，输出可能因此改变。

应当停住的推论：后续模型可用旋转位置等机制，不能把加一个位置戳写成所有实现的唯一做法。

一个Transformer块的组合

一个常见块含注意力和前馈网络等组件。注意力让允许位置之间交换信息，前馈网络对各位置表示做进一步变换；残差把输入与变换结果相加，归一化帮助控制数值尺度。组件的安排在不同架构中有差异，因此我们用功能图表示，不要求背固定层序。多个块反复处理后，最后表示被映射到词表大小的一组分数，再转换成候选分布；不是单靠注意力就完成了整个模型。

可以补充的例子：把注意力类比“汇总可用材料”后，仍要对汇总向量继续计算；不能直接把0.7注意力权重当下一Token的0.7概率。

应当停住的推论：前馈网络不是单独的事实数据库，残差不是跳过所有层，归一化也不负责判断回答真假。

自回归生成与训练并行

自回归生成先根据已有前缀得到下一Token分布，按解码规则选出一个Token，再把它接回前缀继续预测，直到满足停止条件。贪心解码取当前最大项，采样则可能取其他允许项，二者不是同一规则。训练时目标序列已知，可以在因果掩码下并行计算许多位置的预测损失；生成未来Token却通常有顺序依赖。实际实现可缓存已有位置的部分计算，不必每步从头完整重算所有历史。

可以补充的例子：本课首步分布蓝0.6、红0.3、结束0.1，贪心选蓝；下一步分布依据新前缀重新给出，不能沿用第一步。

应当停住的推论：流式界面一块文字不一定严格等于一个Token，也不能凭显示速度判断模型训练方法。

后置讲评：独立尝试结束后才展开

Q2 三行允许集合分别{1}、{1,2}、{1,2,3}。Q3 全可见时第二位置新增 3；在下一项预测中看未来答案会破坏设定。交换鸟与船改变主体客体关系。教师重放依次选蓝、色、结束，显示“灯光是蓝色”。

Q4 新三块许可集合仍按位置依次为{1}、{1,2}、{1,2,3}；第一轮选书，第二轮选结束，显示“桌面有书”，不追加本。观察次数上限若设一，只完成一轮，不可声称已遇到结束。

Q5 架构是结构设计、模型是训练参数实例、产品是使用界面与系统功能；前缀增长不等于权重更新。注意力权重分配给参考位置，下一项概率分配给词表候选。Q6 本页真实计算可见表并对给定分布取最大；未计算真实 Transformer 嵌入、层运算或概率，也未训练模型。

板书、补救与课后加深

• 许可表：行是当前，列是可参考。
• 文字→编号→位置/向量→块→分布→解码→新前缀。
• 架构／参数模型／产品界面；推理 ≠ 更新权重。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

比较编码器、解码器、编码器解码器的可见关系；进一步拆一层矩阵形状、前后归一化和KV缓存，实际跑小模型并记录不同解码规则。架构实现与完整代码待深度确认。 深化内容另计时间；先保证本课独立练习完成。

来源和实际完成范围

• AIPath 对应课：用作课序与主题对应。
• Vaswani et al.：Attention Is All You Need（2017）：核对查询、键、值、注意力加权及 Transformer 构件；不把原论文架构当所有产品的内部图。
• Brown et al.：Language Models are Few-Shot Learners（2020）：核对自回归语言模型与上下文示例；教材接龙和概率均为原创简化模型。
• Hugging Face：How caching works：核对自回归推理的顺序依赖，以及缓存已有位置键值避免重复计算；不宣称所有模型都完整重算全部历史。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。