# 第 10 课教师讲稿｜一边看允许位置，一边追踪文字怎样接着生成 本课在 AIPath 的第 2 阶段，沿用原课主题“Transformer：改变一切的架构”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。 ## 学完能做什么 - 能按位置画因果可见表，识别看未来信息的反例。 - 能按给定候选分布执行贪心选择、更新前缀，并在结束标记或观察上限停下。 - 能区分架构、参数模型、产品以及本页实际计算与固定材料重放。 贯穿问题：**文字越写越长时，哪些东西变了，哪些模型设置没有变？** ## 课前准备与完整实验材料 教师先在本课页面找到“因果可见表与固定分布解码重放”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。 上半页根据当前文字块与规则真实生成许可矩阵；下半页重放教师给定概率材料，真实执行最大值选择和停止判断，但概率不是由模型运行产生。 - 已排好的文字块（英文逗号分隔）（输入框 `tokens`）初始为： ```text 鸟,看见,船 ``` - 查看第几个位置（从 1 开始）（输入框 `position`）初始为： ```text 2 ``` - 位置可见规则（输入框 `visibility`）初始为： ```text causal ``` - 固定候选材料（输入框 `scenario`）初始为： ```text lamp ``` - 最多观察几次候选选择（输入框 `limit`）初始为： ```text 3 ``` 观察次数是上限，不是要求强行生成那么多项。遇到结束立即停止；达到上限而没遇到结束要写“尚未观察到结束”。教师应把演示分成许可表与固定分布两部分，不能混说成端到端模型。 ## 0—60 分钟：可以顺着使用的讲稿 ### 0—4 分钟｜先承接上一课的资格限制 教师可以这样说：“上一课禁止一个位置后重新分配了权重。现在把这个想法放进按顺序生成文字的过程：一个位置只能使用已经出现的材料。先把资格画成表，不要求第一分钟知道 Transformer 的全部结构。” **学生具体动作。** Q1 写三个块“鸟、看见、船”，猜第二位置能看哪几块。 **教师在桌边怎样追问。** 第三块若是待预测答案，提前看它会有什么问题？ **本段要收集的证据。** 初始可见性猜测保留。 ### 4—8 分钟｜矩阵只是整齐的许可表 教师可以这样说：“表的行表示正在处理哪个位置，列表示候选参考位置。允许就打勾，禁止就留叉。所谓因果遮挡先理解为这样的许可约定，不把表格外观当成高深数学。” **学生具体动作。** Q2 手画三行三列，为每行标可看位置。 **教师在桌边怎样追问。** 行和列分别指当前谁、参考谁？ **本段要收集的证据。** 三行可见关系有方向。 ### 8—12 分钟｜用真实计算核对掩码 教师可以这样说：“现在运行默认材料，在程序表中查第二行。第一个位置、第二个位置各能参考哪些编号，都由同一规则算出。这个表确实计算了，但还没有做词向量投影、注意力或概率预测。” **学生具体动作。** Q2 对照手画表与程序表，定位一格。 **教师在桌边怎样追问。** 这一格允许是否意味着该位置一定得到高权重？ **本段要收集的证据。** 允许资格与权重大小分开。 ### 12—16 分钟｜故意打开未来作反例 教师可以这样说：“只把可见规则改成所有位置可看。表中哪些格从禁止变允许，先预测再观察。这是帮助理解泄漏的反例，不是在推荐生成模型用未来真实答案来获得漂亮成绩。” **学生具体动作。** Q3 切换规则，记录第二行多了哪一项。 **教师在桌边怎样追问。** 反例设置在训练接龙任务中会泄露什么？ **本段要收集的证据。** 未来信息的具体位置被指出。 ### 16—20 分钟｜顺序交换会改变意思 教师可以这样说：““鸟看见船”与“船看见鸟”使用相同词块，关系不同。模型需要位置机制配合内容表示，不能把三块当成无序词袋。页面只是显示次序和许可，不计算完整位置编码。” **学生具体动作。** Q3 交换首尾块，写两句意思差别。 **教师在桌边怎样追问。** 相同词集合为什么不能直接视为同一句？ **本段要收集的证据。** 主体客体及顺序改变明确。 ### 20—24 分钟｜把整个生成路径串起来 教师可以这样说：“输入先切块编号，再得到向量并结合位置信息，经过若干处理块输出下一块候选分布，最后选择一项追加。先把这些步骤排好；其中概率选择属于解码规则，不等于注意力内部配比。” **学生具体动作。** Q5 排列文字、编号、位置向量、处理块、分布、选择追加。 **教师在桌边怎样追问。** 选择词表候选与汇总上下文位置有什么不同？ **本段要收集的证据。** 两种分布的对象明确。 ### 24—28 分钟｜从给定分布亲手选一次 教师可以这样说：“页面下半部分的概率是教师事先写好的材料。第一轮给蓝 0.6、红 0.3、结束 0.1，按贪心取最大。它演示怎样读分布和选择，不伪装成运行了真实大模型。” **学生具体动作。** 手选第一项，再查看固定分布重放的第一行。 **教师在桌边怎样追问。** 这三个概率是程序训练算出的吗？ **本段要收集的证据。** 预设分布与实际选最大分开。 ### 28—32 分钟｜新前缀再走下一轮 教师可以这样说：“选定一块后把它加在前缀末尾，然后在这个前缀下使用下一轮给定分布。不能把第一轮概率重复用到底。遇到结束标记就停，标记本身不当作普通文字追加。” **学生具体动作。** 记录教师材料三轮选择前前缀与所选项。 **教师在桌边怎样追问。** 第二轮的条件为什么不同于第一轮？ **本段要收集的证据。** 前缀增长与停止规则明确。 ### 32—36 分钟｜区分架构模型产品 教师可以这样说：“一张结构设计图、一套经过训练的参数、一个带文件上传与工具的界面，是不同层级。谈 Transformer 时主要在说架构，不能由一个界面功能直接推出全部内部结构。” **学生具体动作。** Q5 给结构图、参数版本、聊天界面三卡分类。 **教师在桌边怎样追问。** 上传文件的按钮能否证明模型参数已更新？ **本段要收集的证据。** 三层级与参数更新区别。 ### 36—40 分钟｜独立遮挡与新材料 教师可以这样说：“Q4 改为收到、钥匙、了三块，分别写三个位置的允许集合，再用页面验证。不要把刚才反例的全可见状态忘记恢复。教师先核对设置，不公布结果。” **学生具体动作。** Q4 恢复因果规则，手画新三块的许可表。 **教师在桌边怎样追问。** 实验当前是因果规则还是反例规则？ **本段要收集的证据。** 独立表与运行设置一致。 ### 40—44 分钟｜独立追踪结束候选 教师可以这样说：“Q4 选择“桌面有”材料。题面给出两轮分布，请先自行选最大并写新前缀；没有要求必须补成更自然的句子，结束候选如果最大也要遵守规则。” **学生具体动作。** Q4 手算两轮候选选择后运行，记录停止原因。 **教师在桌边怎样追问。** 你依据概率还是依据自己的语言偏好在选择？ **本段要收集的证据。** 选择规则与停止证据对应。 ### 44—48 分钟｜同伴检查变与不变 教师可以这样说：“互换独立题，圈出前缀变长的时刻，再找本页有没有反向求梯度、更新参数。使用上下文算新结果与训练权重不同，不能单凭新文字出现就说模型在学习。” **学生具体动作。** Q5 用记录说明当前输入、输出与参数的变化情况。 **教师在桌边怎样追问。** 哪一步实际提供训练目标并更新了参数？ **本段要收集的证据。** 推理输入增长与训练区分。 ### 48—52 分钟｜现在讲评停止位置 教师可以这样说：“独立材料第一轮书最大，前缀变为桌面有书；第二轮结束概率 0.65 最大，所以停止，不能继续添本。因果允许集合依次是一、一二、一二三。若答案错，多半是漏看结束候选或未恢复掩码。” **学生具体动作。** 修订 Q4，标明错误发生的具体设置或选择行。 **教师在桌边怎样追问。** 结果短一些是否意味着违反了给定贪心规则？ **本段要收集的证据。** 修订保留停止规则。 ### 52—56 分钟｜注意力只是结构的一部分 教师可以这样说：“Transformer 块还包含前馈计算、残差和归一化等部件，不应把它说成一张注意力图。今天用流程定位这些部分，计算细节后续再逐步理解；架构名称并不直接保证产品可靠。” **学生具体动作。** Q6 在流程中标出注意力以外的部件位置。 **教师在桌边怎样追问。** 页面计算掩码，是否就完成了整个 Transformer？ **本段要收集的证据。** 局部演示与完整架构边界。 ### 56—60 分钟｜离堂把本页做过什么说准确 教师可以这样说：“请写两句：一张可见表由规则实时计算；几轮文字由预设概率按贪心重放。再说明没有训练或调用真实模型。准确描述完成范围，也是以后评价 AI 演示是否可信的能力。” **学生具体动作。** Q6 提交两部分证据和一条尚未执行的步骤。 **教师在桌边怎样追问。** 哪部分能通过改输入看到实时计算，哪部分只是固定材料？ **本段要收集的证据。** 计算与固定重放清楚分开。 ## 教师的概念备查：先用上面的观察，再补准确说法 这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。 ### 架构模型与产品的层级 Transformer是组织计算组件的一类架构，不是一份固定的知识库或一个账号。训练给具体结构中的参数确定数值，才得到某个已训练模型；聊天产品还可能把它连接到检索、工具、记忆、权限和界面。三个层级不同，不能看到产品名称就断言精确层数或内部全部组件。最初论文提出特定编码器与解码器结构，后来出现多种变体；本课为理解生成，画一个简化解码器式数据流。 可以补充的例子：“Transformer”是结构家族；“某个参数文件版本”属于模型；“带上传按钮的聊天网页”属于产品。 应当停住的推论：教学图不是某款服务内部已核实的完整架构，也不证明所有AI都使用Transformer。 ### 文本入口与顺序信息 文本先切成Token并转成编号，接着查嵌入表得到向量，网络还需要位置或顺序机制，否则相同内容不同顺序的关系难以区分。位置处理有多种方式，最初的加法位置编码只是其中一种。今天只在纸上加位置编号，帮助看出“甲追乙”与“乙追甲”虽然词相同，谁在前后却不同。编号、位置、向量是三个角色，不要把位置1误作文本块编号1。 可以补充的例子：[甲,追,乙]与[乙,追,甲]使用相同词表条目，但位置分配不同，输出可能因此改变。 应当停住的推论：后续模型可用旋转位置等机制，不能把加一个位置戳写成所有实现的唯一做法。 ### 一个Transformer块的组合 一个常见块含注意力和前馈网络等组件。注意力让允许位置之间交换信息，前馈网络对各位置表示做进一步变换；残差把输入与变换结果相加，归一化帮助控制数值尺度。组件的安排在不同架构中有差异，因此我们用功能图表示，不要求背固定层序。多个块反复处理后，最后表示被映射到词表大小的一组分数，再转换成候选分布；不是单靠注意力就完成了整个模型。 可以补充的例子：把注意力类比“汇总可用材料”后，仍要对汇总向量继续计算；不能直接把0.7注意力权重当下一Token的0.7概率。 应当停住的推论：前馈网络不是单独的事实数据库，残差不是跳过所有层，归一化也不负责判断回答真假。 ### 自回归生成与训练并行 自回归生成先根据已有前缀得到下一Token分布，按解码规则选出一个Token，再把它接回前缀继续预测，直到满足停止条件。贪心解码取当前最大项，采样则可能取其他允许项，二者不是同一规则。训练时目标序列已知，可以在因果掩码下并行计算许多位置的预测损失；生成未来Token却通常有顺序依赖。实际实现可缓存已有位置的部分计算，不必每步从头完整重算所有历史。 可以补充的例子：本课首步分布蓝0.6、红0.3、结束0.1，贪心选蓝；下一步分布依据新前缀重新给出，不能沿用第一步。 应当停住的推论：流式界面一块文字不一定严格等于一个Token，也不能凭显示速度判断模型训练方法。 ## 后置讲评：独立尝试结束后才展开 Q2 三行允许集合分别{1}、{1,2}、{1,2,3}。Q3 全可见时第二位置新增 3；在下一项预测中看未来答案会破坏设定。交换鸟与船改变主体客体关系。教师重放依次选蓝、色、结束，显示“灯光是蓝色”。 Q4 新三块许可集合仍按位置依次为{1}、{1,2}、{1,2,3}；第一轮选书，第二轮选结束，显示“桌面有书”，不追加本。观察次数上限若设一，只完成一轮，不可声称已遇到结束。 Q5 架构是结构设计、模型是训练参数实例、产品是使用界面与系统功能；前缀增长不等于权重更新。注意力权重分配给参考位置，下一项概率分配给词表候选。Q6 本页真实计算可见表并对给定分布取最大；未计算真实 Transformer 嵌入、层运算或概率，也未训练模型。 ## 板书、补救与课后加深 - 许可表：行是当前，列是可参考。 - 文字→编号→位置/向量→块→分布→解码→新前缀。 - 架构／参数模型／产品界面；推理 ≠ 更新权重。 使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。 比较编码器、解码器、编码器解码器的可见关系；进一步拆一层矩阵形状、前后归一化和KV缓存，实际跑小模型并记录不同解码规则。架构实现与完整代码待深度确认。 深化内容另计时间；先保证本课独立练习完成。 ## 来源和实际完成范围 - [AIPath 对应课](https://aipath.buynao.com/#/lesson/10-transformer)：用作课序与主题对应。 - [Vaswani et al.：Attention Is All You Need（2017）](https://arxiv.org/abs/1706.03762)：核对查询、键、值、注意力加权及 Transformer 构件；不把原论文架构当所有产品的内部图。 - [Brown et al.：Language Models are Few-Shot Learners（2020）](https://arxiv.org/abs/2005.14165)：核对自回归语言模型与上下文示例；教材接龙和概率均为原创简化模型。 - [Hugging Face：How caching works](https://huggingface.co/docs/transformers/main/en/cache_explanation)：核对自回归推理的顺序依赖，以及缓存已有位置键值避免重复计算；不宣称所有模型都完整重算全部历史。 新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 上一课禁止一个位置后重新分配了权重。现在把这个想法放进按顺序生成文字的过程：一个位置只能使用已经出现的材料。先把资格画成表，不要求第一分钟知道 Transformer 的全部结构。 | 在工作纸记录本段问题：先承接上一课的资格限制 | 保留一句关于“先承接上一课的资格限制”的原始解释 | | 01:00—02:00 | 把本段材料留在屏幕，说明操作：Q1 写三个块“鸟、看见、船”，猜第二位置能看哪几块 | Q1 写三个块“鸟、看见、船”，猜第二位置能看哪几块 | 初始可见性猜测保留 | | 02:00—03:00 | 逐人检查记录；只追问：第三块若是待预测答案，提前看它会有什么问题？ | 对照刚才的输入和输出，回答：第三块若是待预测答案，提前看它会有什么问题？ | 回答中标出本段的输入条件和一个中间量 | | 03:00—04:00 | 请一位学生读记录，检查是否完成：初始可见性猜测保留。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先承接上一课的资格限制旁保留修订痕迹 | 初始可见性猜测保留 | | 04:00—05:00 | 表的行表示正在处理哪个位置，列表示候选参考位置。允许就打勾，禁止就留叉。所谓因果遮挡先理解为这样的许可约定，不把表格外观当成高深数学。 | 在工作纸记录本段问题：矩阵只是整齐的许可表 | 保留一句关于“矩阵只是整齐的许可表”的原始解释 | | 05:00—06:00 | 把本段材料留在屏幕，说明操作：Q2 手画三行三列，为每行标可看位置 | Q2 手画三行三列，为每行标可看位置 | 三行可见关系有方向 | | 06:00—07:00 | 逐人检查记录；只追问：行和列分别指当前谁、参考谁？ | 对照刚才的输入和输出，回答：行和列分别指当前谁、参考谁？ | 回答中标出本段的输入条件和一个中间量 | | 07:00—08:00 | 请一位学生读记录，检查是否完成：三行可见关系有方向。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在矩阵只是整齐的许可表旁保留修订痕迹 | 三行可见关系有方向 | | 08:00—09:00 | 现在运行默认材料，在程序表中查第二行。第一个位置、第二个位置各能参考哪些编号，都由同一规则算出。这个表确实计算了，但还没有做词向量投影、注意力或概率预测。 | 在工作纸记录本段问题：用真实计算核对掩码 | 保留一句关于“用真实计算核对掩码”的原始解释 | | 09:00—10:00 | 把本段材料留在屏幕，说明操作：Q2 对照手画表与程序表，定位一格 | Q2 对照手画表与程序表，定位一格 | 允许资格与权重大小分开 | | 10:00—11:00 | 逐人检查记录；只追问：这一格允许是否意味着该位置一定得到高权重？ | 对照刚才的输入和输出，回答：这一格允许是否意味着该位置一定得到高权重？ | 回答中标出本段的输入条件和一个中间量 | | 11:00—12:00 | 请一位学生读记录，检查是否完成：允许资格与权重大小分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在用真实计算核对掩码旁保留修订痕迹 | 允许资格与权重大小分开 | | 12:00—13:00 | 只把可见规则改成所有位置可看。表中哪些格从禁止变允许，先预测再观察。这是帮助理解泄漏的反例，不是在推荐生成模型用未来真实答案来获得漂亮成绩。 | 在工作纸记录本段问题：故意打开未来作反例 | 保留一句关于“故意打开未来作反例”的原始解释 | | 13:00—14:00 | 把本段材料留在屏幕，说明操作：Q3 切换规则，记录第二行多了哪一项 | Q3 切换规则，记录第二行多了哪一项 | 未来信息的具体位置被指出 | | 14:00—15:00 | 逐人检查记录；只追问：反例设置在训练接龙任务中会泄露什么？ | 对照刚才的输入和输出，回答：反例设置在训练接龙任务中会泄露什么？ | 回答中标出本段的输入条件和一个中间量 | | 15:00—16:00 | 请一位学生读记录，检查是否完成：未来信息的具体位置被指出。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在故意打开未来作反例旁保留修订痕迹 | 未来信息的具体位置被指出 | | 16:00—17:00 | “鸟看见船”与“船看见鸟”使用相同词块，关系不同。模型需要位置机制配合内容表示，不能把三块当成无序词袋。页面只是显示次序和许可，不计算完整位置编码。 | 在工作纸记录本段问题：顺序交换会改变意思 | 保留一句关于“顺序交换会改变意思”的原始解释 | | 17:00—18:00 | 把本段材料留在屏幕，说明操作：Q3 交换首尾块，写两句意思差别 | Q3 交换首尾块，写两句意思差别 | 主体客体及顺序改变明确 | | 18:00—19:00 | 逐人检查记录；只追问：相同词集合为什么不能直接视为同一句？ | 对照刚才的输入和输出，回答：相同词集合为什么不能直接视为同一句？ | 回答中标出本段的输入条件和一个中间量 | | 19:00—20:00 | 请一位学生读记录，检查是否完成：主体客体及顺序改变明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在顺序交换会改变意思旁保留修订痕迹 | 主体客体及顺序改变明确 | | 20:00—21:00 | 输入先切块编号，再得到向量并结合位置信息，经过若干处理块输出下一块候选分布，最后选择一项追加。先把这些步骤排好；其中概率选择属于解码规则，不等于注意力内部配比。 | 在工作纸记录本段问题：把整个生成路径串起来 | 保留一句关于“把整个生成路径串起来”的原始解释 | | 21:00—22:00 | 把本段材料留在屏幕，说明操作：Q5 排列文字、编号、位置向量、处理块、分布、选择追加 | Q5 排列文字、编号、位置向量、处理块、分布、选择追加 | 两种分布的对象明确 | | 22:00—23:00 | 逐人检查记录；只追问：选择词表候选与汇总上下文位置有什么不同？ | 对照刚才的输入和输出，回答：选择词表候选与汇总上下文位置有什么不同？ | 回答中标出本段的输入条件和一个中间量 | | 23:00—24:00 | 请一位学生读记录，检查是否完成：两种分布的对象明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把整个生成路径串起来旁保留修订痕迹 | 两种分布的对象明确 | | 24:00—25:00 | 页面下半部分的概率是教师事先写好的材料。第一轮给蓝 0.6、红 0.3、结束 0.1，按贪心取最大。它演示怎样读分布和选择，不伪装成运行了真实大模型。 | 在工作纸记录本段问题：从给定分布亲手选一次 | 保留一句关于“从给定分布亲手选一次”的原始解释 | | 25:00—26:00 | 把本段材料留在屏幕，说明操作：手选第一项，再查看固定分布重放的第一行 | 手选第一项，再查看固定分布重放的第一行 | 预设分布与实际选最大分开 | | 26:00—27:00 | 逐人检查记录；只追问：这三个概率是程序训练算出的吗？ | 对照刚才的输入和输出，回答：这三个概率是程序训练算出的吗？ | 回答中标出本段的输入条件和一个中间量 | | 27:00—28:00 | 请一位学生读记录，检查是否完成：预设分布与实际选最大分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在从给定分布亲手选一次旁保留修订痕迹 | 预设分布与实际选最大分开 | | 28:00—29:00 | 选定一块后把它加在前缀末尾，然后在这个前缀下使用下一轮给定分布。不能把第一轮概率重复用到底。遇到结束标记就停，标记本身不当作普通文字追加。 | 在工作纸记录本段问题：新前缀再走下一轮 | 保留一句关于“新前缀再走下一轮”的原始解释 | | 29:00—30:00 | 把本段材料留在屏幕，说明操作：记录教师材料三轮选择前前缀与所选项 | 记录教师材料三轮选择前前缀与所选项 | 前缀增长与停止规则明确 | | 30:00—31:00 | 逐人检查记录；只追问：第二轮的条件为什么不同于第一轮？ | 对照刚才的输入和输出，回答：第二轮的条件为什么不同于第一轮？ | 回答中标出本段的输入条件和一个中间量 | | 31:00—32:00 | 请一位学生读记录，检查是否完成：前缀增长与停止规则明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在新前缀再走下一轮旁保留修订痕迹 | 前缀增长与停止规则明确 | | 32:00—33:00 | 一张结构设计图、一套经过训练的参数、一个带文件上传与工具的界面，是不同层级。谈 Transformer 时主要在说架构，不能由一个界面功能直接推出全部内部结构。 | 在工作纸记录本段问题：区分架构模型产品 | 保留一句关于“区分架构模型产品”的原始解释 | | 33:00—34:00 | 把本段材料留在屏幕，说明操作：Q5 给结构图、参数版本、聊天界面三卡分类 | Q5 给结构图、参数版本、聊天界面三卡分类 | 三层级与参数更新区别 | | 34:00—35:00 | 逐人检查记录；只追问：上传文件的按钮能否证明模型参数已更新？ | 对照刚才的输入和输出，回答：上传文件的按钮能否证明模型参数已更新？ | 回答中标出本段的输入条件和一个中间量 | | 35:00—36:00 | 请一位学生读记录，检查是否完成：三层级与参数更新区别。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在区分架构模型产品旁保留修订痕迹 | 三层级与参数更新区别 | | 36:00—37:00 | Q4 改为收到、钥匙、了三块，分别写三个位置的允许集合，再用页面验证。不要把刚才反例的全可见状态忘记恢复。教师先核对设置，不公布结果。 | 在工作纸记录本段问题：独立遮挡与新材料 | 保留一句关于“独立遮挡与新材料”的原始解释 | | 37:00—38:00 | 把本段材料留在屏幕，说明操作：Q4 恢复因果规则，手画新三块的许可表 | Q4 恢复因果规则，手画新三块的许可表 | 独立表与运行设置一致 | | 38:00—39:00 | 逐人检查记录；只追问：实验当前是因果规则还是反例规则？ | 对照刚才的输入和输出，回答：实验当前是因果规则还是反例规则？ | 回答中标出本段的输入条件和一个中间量 | | 39:00—40:00 | 请一位学生读记录，检查是否完成：独立表与运行设置一致。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立遮挡与新材料旁保留修订痕迹 | 独立表与运行设置一致 | | 40:00—41:00 | Q4 选择“桌面有”材料。题面给出两轮分布，请先自行选最大并写新前缀；没有要求必须补成更自然的句子，结束候选如果最大也要遵守规则。 | 在工作纸记录本段问题：独立追踪结束候选 | 保留一句关于“独立追踪结束候选”的原始解释 | | 41:00—42:00 | 把本段材料留在屏幕，说明操作：Q4 手算两轮候选选择后运行，记录停止原因 | Q4 手算两轮候选选择后运行，记录停止原因 | 选择规则与停止证据对应 | | 42:00—43:00 | 逐人检查记录；只追问：你依据概率还是依据自己的语言偏好在选择？ | 对照刚才的输入和输出，回答：你依据概率还是依据自己的语言偏好在选择？ | 回答中标出本段的输入条件和一个中间量 | | 43:00—44:00 | 请一位学生读记录，检查是否完成：选择规则与停止证据对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立追踪结束候选旁保留修订痕迹 | 选择规则与停止证据对应 | | 44:00—45:00 | 互换独立题，圈出前缀变长的时刻，再找本页有没有反向求梯度、更新参数。使用上下文算新结果与训练权重不同，不能单凭新文字出现就说模型在学习。 | 在工作纸记录本段问题：同伴检查变与不变 | 保留一句关于“同伴检查变与不变”的原始解释 | | 45:00—46:00 | 把本段材料留在屏幕，说明操作：Q5 用记录说明当前输入、输出与参数的变化情况 | Q5 用记录说明当前输入、输出与参数的变化情况 | 推理输入增长与训练区分 | | 46:00—47:00 | 逐人检查记录；只追问：哪一步实际提供训练目标并更新了参数？ | 对照刚才的输入和输出，回答：哪一步实际提供训练目标并更新了参数？ | 回答中标出本段的输入条件和一个中间量 | | 47:00—48:00 | 请一位学生读记录，检查是否完成：推理输入增长与训练区分。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在同伴检查变与不变旁保留修订痕迹 | 推理输入增长与训练区分 | | 48:00—49:00 | 独立材料第一轮书最大，前缀变为桌面有书；第二轮结束概率 0.65 最大，所以停止，不能继续添本。因果允许集合依次是一、一二、一二三。若答案错，多半是漏看结束候选或未恢复掩码。 | 在工作纸记录本段问题：现在讲评停止位置 | 保留一句关于“现在讲评停止位置”的原始解释 | | 49:00—50:00 | 把本段材料留在屏幕，说明操作：修订 Q4，标明错误发生的具体设置或选择行 | 修订 Q4，标明错误发生的具体设置或选择行 | 修订保留停止规则 | | 50:00—51:00 | 逐人检查记录；只追问：结果短一些是否意味着违反了给定贪心规则？ | 对照刚才的输入和输出，回答：结果短一些是否意味着违反了给定贪心规则？ | 回答中标出本段的输入条件和一个中间量 | | 51:00—52:00 | 请一位学生读记录，检查是否完成：修订保留停止规则。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在现在讲评停止位置旁保留修订痕迹 | 修订保留停止规则 | | 52:00—53:00 | Transformer 块还包含前馈计算、残差和归一化等部件，不应把它说成一张注意力图。今天用流程定位这些部分，计算细节后续再逐步理解；架构名称并不直接保证产品可靠。 | 在工作纸记录本段问题：注意力只是结构的一部分 | 保留一句关于“注意力只是结构的一部分”的原始解释 | | 53:00—54:00 | 把本段材料留在屏幕，说明操作：Q6 在流程中标出注意力以外的部件位置 | Q6 在流程中标出注意力以外的部件位置 | 局部演示与完整架构边界 | | 54:00—55:00 | 逐人检查记录；只追问：页面计算掩码，是否就完成了整个 Transformer？ | 对照刚才的输入和输出，回答：页面计算掩码，是否就完成了整个 Transformer？ | 回答中标出本段的输入条件和一个中间量 | | 55:00—56:00 | 请一位学生读记录，检查是否完成：局部演示与完整架构边界。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在注意力只是结构的一部分旁保留修订痕迹 | 局部演示与完整架构边界 | | 56:00—57:00 | 请写两句：一张可见表由规则实时计算；几轮文字由预设概率按贪心重放。再说明没有训练或调用真实模型。准确描述完成范围，也是以后评价 AI 演示是否可信的能力。 | 在工作纸记录本段问题：离堂把本页做过什么说准确 | 保留一句关于“离堂把本页做过什么说准确”的原始解释 | | 57:00—58:00 | 把本段材料留在屏幕，说明操作：Q6 提交两部分证据和一条尚未执行的步骤 | Q6 提交两部分证据和一条尚未执行的步骤 | 计算与固定重放清楚分开 | | 58:00—59:00 | 逐人检查记录；只追问：哪部分能通过改输入看到实时计算，哪部分只是固定材料？ | 对照刚才的输入和输出，回答：哪部分能通过改输入看到实时计算，哪部分只是固定材料？ | 回答中标出本段的输入条件和一个中间量 | | 59:00—60:00 | 请一位学生读记录，检查是否完成：计算与固定重放清楚分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在离堂把本页做过什么说准确旁保留修订痕迹 | 计算与固定重放清楚分开 | --- # 第 10 课参考答案与评分｜一边看允许位置，一边追踪文字怎样接着生成 仅在独立题结束后展开。首次预测不按对错扣分；下列固定算例的答案来自明确的输入与算法。 Q2 三行允许集合分别{1}、{1,2}、{1,2,3}。Q3 全可见时第二位置新增 3；在下一项预测中看未来答案会破坏设定。交换鸟与船改变主体客体关系。教师重放依次选蓝、色、结束，显示“灯光是蓝色”。 Q4 新三块许可集合仍按位置依次为{1}、{1,2}、{1,2,3}；第一轮选书，第二轮选结束，显示“桌面有书”，不追加本。观察次数上限若设一，只完成一轮，不可声称已遇到结束。 Q5 架构是结构设计、模型是训练参数实例、产品是使用界面与系统功能；前缀增长不等于权重更新。注意力权重分配给参考位置，下一项概率分配给词表候选。Q6 本页真实计算可见表并对给定分布取最大；未计算真实 Transformer 嵌入、层运算或概率，也未训练模型。 ## 10 分评分 独立题第一轮前缀是“桌面有”，选书后变为“桌面有书”；第二轮最大的 0.65 属于结束，而不是“本”的 0.20。因此结束是停止信号，不作为普通汉字追加到显示句子。“本来书可以接成本，所以应选本”使用了生活直觉，却没有遵守给定贪心规则。因果许可表只限制各位置可使用哪些输入信息，本页没有据此算出这些候选概率。许可位置变化、前缀变化和训练参数变化应分别记录，不能看到页面文字变化就写模型重新训练。 - Q1—Q2：保留预测并正确展示默认条件的一个手算中间量，2 分；不因预测猜错扣分。 - Q3：按题目只改一个条件，记录原值、新值和实际变化，2 分。 - Q4：独立材料中的计算或检查过程可复算，2 分。 - Q5：解释本课机制并指出证据对应哪一步，2 分。 - Q6：迁移题与离堂题明确实验边界，2 分。 评分时应接受含义相同的学生表述。若输入条件与题目不同，先标记为另一轮实验，再要求补做指定条件；不要将不同条件的输出直接判成同一题的答案。