# 第 9 课教师讲稿｜把几份信息按比例合成一份 本课在 AIPath 的第 2 阶段，沿用原课主题“注意力机制：AI 学会“划重点””。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。 ## 学完能做什么 - 能把非负匹配强度归一化，并逐维计算内容的加权贡献。 - 能分别改变匹配强度、内容值与允许集合，解释重新归一化后的变化。 - 能区分 Q/K 匹配与 V 内容，说明本页简化起点及注意力不证明事实的边界。 贯穿问题：**匹配比例改变，与材料内容改变，怎样分别影响输出？** ## 课前准备与完整实验材料 教师先在本课页面找到“注意力的归一化与加权汇总”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。 程序真实执行允许位置过滤、非负强度归一化和二维加权求和。输入强度等价于 softmax 中取指数后的量；本页没有实现查询/键投影，不把强度输入称为原始有符号 logits。 - 非负匹配强度（逗号分隔）（输入框 `weights`）初始为： ```text 3,1 ``` - 各位置两维内容值（JSON）（输入框 `values`）初始为： ```text [[4,0],[0,8]] ``` - 允许使用的位置（输入框 `mask`）初始为： ```text all ``` 强度数量与内容行数必须相同，允许强度和须大于零。独立题先恢复“全部允许”，再按任务禁止最后位置。教师应让学生自己算一次重归一，不直接宣布修改后权重。 ## 0—60 分钟：可以顺着使用的讲稿 ### 0—4 分钟｜先从配比而不是大矩阵进入 教师可以这样说：“上一课把候选条目按距离排序；今天看另一件事，把多个位置的信息按比例汇总。先借用调配颜色的直觉：每份放多少与每份本身含什么，是两个问题。这个比喻只帮助理解加权，不代表语言就是颜料。” **学生具体动作。** Q1 猜甲多乙少时结果更受哪份材料影响。 **教师在桌边怎样追问。** 比例与材料内容是不是同一个输入？ **本段要收集的证据。** 把份额和内容画两栏。 ### 4—8 分钟｜本页从中间一步开始 教师可以这样说：“真实注意力先由查询和键算匹配分数，再做归一化。本页为了看清后半段，直接给分数取指数后的非负强度三和一，没有运行 Q/K 投影。三比一会变成总和为一的比例。” **学生具体动作。** Q2 把强度 3、1 相加，再分别除总和。 **教师在桌边怎样追问。** 强度三是否已经是一个概率？ **本段要收集的证据。** 原始强度与归一化比例分开。 ### 8—12 分钟｜逐维汇总第一项 教师可以这样说：“甲的内容是(4,0)，乙是(0,8)。第一维先算甲贡献，再算乙贡献，两项相加。权重回答“取多少”，内容值回答“拿来的是什么”；同一个权重可以乘不同内容。” **学生具体动作。** Q2 手算第一维两项贡献。 **教师在桌边怎样追问。** 乙权重不为零但第一维贡献为何可能为零？ **本段要收集的证据。** 权重与值相乘的两个来源。 ### 12—16 分钟｜第二维独立照样算 教师可以这样说：“第二维仍使用同一组权重，但取各内容的第二个数。不要把两个维度混到一起，也不要把输出当作选中了甲或乙；加权汇总可以得到两份原材料都不完全相同的新数值。” **学生具体动作。** Q2 手算第二维并运行，核对每项贡献。 **教师在桌边怎样追问。** 最后的向量必须等于某一原条目吗？ **本段要收集的证据。** 每维贡献与最终和对应。 ### 16—20 分钟｜只改匹配强度 教师可以这样说：“把强度从三比一改成一比一，内容值保持原样。先预测哪个输出分量增加或减少，再运行。输入前后两轮截图或笔记应完整，才能证明你只改了比例。” **学生具体动作。** Q3 等强度运行并与默认比，记录两维变化。 **教师在桌边怎样追问。** 本轮哪一组内容值完全没有变化？ **本段要收集的证据。** 单独改变匹配的对照。 ### 20—24 分钟｜只改材料本身 教师可以这样说：“恢复三比一，再只把乙第二维从八改四。此时权重应保持不变，但乙带来的内容变了。看起来最终结果也会变化，却与上一轮改变匹配比例的原因不同。” **学生具体动作。** Q3 对照乙内容修改前后，核对权重列不变。 **教师在桌边怎样追问。** 输出变化能否单独证明匹配权重变化？ **本段要收集的证据。** 内容变化与匹配变化区分。 ### 24—28 分钟｜掩码先决定谁能参与 教师可以这样说：“如果禁止乙使用，就先把乙强度清零，再把剩余允许强度重新归一化。不是保留原来的四分之三就结束，否则剩余权重总和不再是一。禁止与不相关也不应混为一谈。” **学生具体动作。** 保持默认内容，禁止最后位置，先算再运行。 **教师在桌边怎样追问。** 禁止位置的内容再大，是否仍应贡献输出？ **本段要收集的证据。** 禁止、重归一和汇总分开。 ### 28—32 分钟｜给 Q K V 留下直觉 教师可以这样说：“查询像这次要找什么，键用于算匹配，值是被取回的内容。它们来自网络计算，不是永远三个固定的中文问题。我们此页从强度开始，所以不能拿本页宣称已实现完整注意力层。” **学生具体动作。** Q5 给匹配阶段、内容阶段、本页起点画位置。 **教师在桌边怎样追问。** 本页哪一栏相当于尚未执行的 Q/K 计算？ **本段要收集的证据。** 完整流程与简化起点标清。 ### 32—36 分钟｜热力图不等于事实证据 教师可以这样说：“某位置权重高，说明这个汇总步骤更多使用它；真假还取决于内容与后续计算。一个权重图不能替代原文来源，也不能证明模型按人类相同理由作答。” **学生具体动作。** 给“权重大所以说法正确”写一个反驳例子。 **教师在桌边怎样追问。** 错误材料即使占很大比例，会被归一化自动改正吗？ **本段要收集的证据。** 权重与事实正确性分开。 ### 36—40 分钟｜独立三份内容 教师可以这样说：“Q4 换成三份强度二、三、五，内容甲(5,0)、乙(0,10)、丙(2,2)。先手算总和与三个权重，再逐维计算。教师此时只检查材料和相乘行，不给结果。” **学生具体动作。** Q4 手算三份贡献后才运行。 **教师在桌边怎样追问。** 三个强度是否先用同一总和归一化？ **本段要收集的证据。** 三份权重和两维贡献完整。 ### 40—44 分钟｜独立禁止最后一份 教师可以这样说：“继续 Q4，禁止丙，但甲乙强度保持原值。先重新算允许总和，再计算两个剩余权重，最后汇总。不要从上一轮最终向量直接随意减去一项而忘记比例也改变了。” **学生具体动作。** Q4 禁止最后位置，写重归一过程。 **教师在桌边怎样追问。** 清零之后剩余比例是否仍相加为一？ **本段要收集的证据。** 掩码后新总和与各贡献齐全。 ### 44—48 分钟｜用贡献表而不是直觉争论 教师可以这样说：“互换独立题，逐列检查强度、权重、内容、贡献。发现结果不同，找最早出错的一列。若只看最后向量，很难知道是归一化错、位置错还是乘法错。” **学生具体动作。** Q5 用同伴贡献表复算一维。 **教师在桌边怎样追问。** 第一处差异属于选择资格还是配比计算？ **本段要收集的证据。** 按列定位差异。 ### 48—52 分钟｜现在讲评独立计算 教师可以这样说：“三份权重为 0.2、0.3、0.5，结果(2,4)。禁止丙后权重为 0.4、0.6、0，结果(2,6)。第二维反而增大，原因是剩余乙的份额重新变大，不是程序偷偷多拿了一份材料。” **学生具体动作。** 修订 Q4，并解释为何禁掉一份后某维会增大。 **教师在桌边怎样追问。** 你用哪一项贡献解释第二维的变化？ **本段要收集的证据。** 答案附重归一的因果解释。 ### 52—56 分钟｜从位置资格走向生成限制 教师可以这样说：“生成时当前位置不能看未来答案，这是一种资格限制。下一课会实际画允许关系。今天先用“禁止丙”记住：掩码改变允许集合，之后的配比必须在允许集合中处理。” **学生具体动作。** Q6 为三个位置写当前位置可看哪些已出现位置。 **教师在桌边怎样追问。** 第三个位置尚未出现时，第二位置能引用它吗？ **本段要收集的证据。** 因果可见性与资格限制关联。 ### 56—60 分钟｜离堂分别回答三个问题 教师可以这样说：“这一层先问哪些可用，再问取多少，最后问取回什么。学生应能用独立题的一个数字回答各问题，并说清我们没有运行真实模型、没有核验材料真伪。” **学生具体动作。** Q6 提交三问题解释与实验边界。 **教师在桌边怎样追问。** 你能把每一句解释指到贡献表一列吗？ **本段要收集的证据。** 三个职责与表列对应。 ## 教师的概念备查：先用上面的观察，再补准确说法 这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。 ### 上下文与信息混合 文本块的起始表示需要与其他位置的信息结合，才能反映具体语境。注意力提供一种可计算的信息混合机制：为当前位置与允许参考的位置计算匹配分，再把分数转换成比例，最后按比例汇总信息。新的向量因此可能不同于原来的入口向量。整个过程是按模型参数对当前输入计算，不要求修改权重。我们用短表看一个位置如何汇总，暂不推导完整矩阵公式。 可以补充的例子：“把钥匙放在盒子旁，它是蓝色的”存在指代歧义；模型需要上下文线索，不能仅凭一张注意力图断言已消除歧义。 应当停住的推论：长距离可连接不等于信息零损失或总被利用，输入限制与模型能力仍会影响结果。 ### 查询键值分工 Q是查询向量，K是用于匹配的键向量，V是实际被汇总的值向量。常见实现从当前表示经不同学习到的变换得到它们；Q与各K计算匹配分，V则在后面乘比例参与求和。它们不是三段隐藏的自然语言提问，也不是固定由人给每个词写的标签。分开这些角色能让“如何寻找信息”与“提供什么信息”有不同参数，但不意味着我们能直接读出其全部语义。 可以补充的例子：假设某位置对甲、乙的分数分别为ln3和0，随后比例为0.75与0.25；被混合的内容却由V甲、V乙决定。 应当停住的推论：分数高不保证该位置的事实正确；V与K也不必是同一个向量。 ### 归一化与加权求和 常见softmax把允许位置的分数转成非负且总和为1的权重，然后对值向量逐维乘权重相加。今天直接给出已核算权重，不要求计算指数函数。权重不是一个“最正确句子”的标签，而是当前这个头、这个位置的信息混合比例。换权重会改变同一批值的组合；保持权重但改变值，也会改变结果。仅观察比例不能还原所有后续变换，因此也不能当作完整的答案解释。 可以补充的例子：V甲=(4,0)、V乙=(0,8)，权重0.75与0.25得到(3,2)，不是把甲整条复制出来。 应当停住的推论：可见且有限分数经普通softmax常为正，因果掩码可令禁看位置权重为0；不能说每个位置永不被排除。 ### 多头因果掩码与并行边界 多个注意力头可以用不同变换形成不同混合结果，再组合起来；不能预先规定某个头永远只负责语法或指代。自回归生成使用因果掩码，使某位置只能依赖允许的已有位置，不能偷看未来答案。已知训练序列可在掩码约束下并行处理许多位置，但生成新的后续文本通常仍有先后依赖。注意力连接减少某些长路径限制，也带来对多位置关系计算的资源成本。 可以补充的例子：三位置序列在因果设置下：位置1可看1，位置2可看1和2，位置3可看1、2、3。 应当停住的推论：本课只解释一个普通密集注意力例子；不同高效结构会改变计算方式，不能把所有模型成本写成唯一公式。 ## 后置讲评：独立尝试结束后才展开 Q2 强度和四，权重 0.75、0.25；第一维 3+0=3，第二维 0+2=2，结果(3,2)。Q3 等强度结果(2,4)；恢复原权重，仅乙值改(0,4)得(3,1)。默认禁止乙后权重(1,0)，结果(4,0)。 Q4 全允许权重(0.2,0.3,0.5)，结果(2,4)；禁止丙后总强度五，权重(0.4,0.6,0)，结果(2,6)。不是简单把原丙贡献删掉就结束，其他权重也重算。 Q5 Q/K 用于匹配，V 提供被汇总的内容；本页直接从非负匹配强度归一化开始，未算 Q/K 投影。Q6 三位置的因果可见集合为{1}、{1,2}、{1,2,3}。权重描述本次汇总比例，不提供事实核验，错误内容不会仅因高权重自动变真。 ## 板书、补救与课后加深 - 可用位置 → 强度归一化 → 逐维乘内容 → 相加。 - 匹配比例改变与内容改变分两轮。 - 高权重不能替代真假核验。 使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。 用2×2矩阵推导缩放点积注意力并计算softmax，比较掩码位置；阅读多头拼接与输出投影，进一步用真实模型实验检验可解释性假说。 深化内容另计时间；先保证本课独立练习完成。 ## 来源和实际完成范围 - [AIPath 对应课](https://aipath.buynao.com/#/lesson/09-attention)：用作课序与主题对应。 - [Vaswani et al.：Attention Is All You Need（2017）](https://arxiv.org/abs/1706.03762)：核对查询、键、值、注意力加权及 Transformer 构件；不把原论文架构当所有产品的内部图。 - [Jain & Wallace：Attention is not Explanation（2019）](https://arxiv.org/abs/1902.10186)：支持注意力权重不应直接当作完整模型解释的边界；不推断任何权重都毫无信息。 新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 上一课把候选条目按距离排序；今天看另一件事，把多个位置的信息按比例汇总。先借用调配颜色的直觉：每份放多少与每份本身含什么，是两个问题。这个比喻只帮助理解加权，不代表语言就是颜料。 | 在工作纸记录本段问题：先从配比而不是大矩阵进入 | 保留一句关于“先从配比而不是大矩阵进入”的原始解释 | | 01:00—02:00 | 把本段材料留在屏幕，说明操作：Q1 猜甲多乙少时结果更受哪份材料影响 | Q1 猜甲多乙少时结果更受哪份材料影响 | 把份额和内容画两栏 | | 02:00—03:00 | 逐人检查记录；只追问：比例与材料内容是不是同一个输入？ | 对照刚才的输入和输出，回答：比例与材料内容是不是同一个输入？ | 回答中标出本段的输入条件和一个中间量 | | 03:00—04:00 | 请一位学生读记录，检查是否完成：把份额和内容画两栏。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先从配比而不是大矩阵进入旁保留修订痕迹 | 把份额和内容画两栏 | | 04:00—05:00 | 真实注意力先由查询和键算匹配分数，再做归一化。本页为了看清后半段，直接给分数取指数后的非负强度三和一，没有运行 Q/K 投影。三比一会变成总和为一的比例。 | 在工作纸记录本段问题：本页从中间一步开始 | 保留一句关于“本页从中间一步开始”的原始解释 | | 05:00—06:00 | 把本段材料留在屏幕，说明操作：Q2 把强度 3、1 相加，再分别除总和 | Q2 把强度 3、1 相加，再分别除总和 | 原始强度与归一化比例分开 | | 06:00—07:00 | 逐人检查记录；只追问：强度三是否已经是一个概率？ | 对照刚才的输入和输出，回答：强度三是否已经是一个概率？ | 回答中标出本段的输入条件和一个中间量 | | 07:00—08:00 | 请一位学生读记录，检查是否完成：原始强度与归一化比例分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在本页从中间一步开始旁保留修订痕迹 | 原始强度与归一化比例分开 | | 08:00—09:00 | 甲的内容是(4,0)，乙是(0,8)。第一维先算甲贡献，再算乙贡献，两项相加。权重回答“取多少”，内容值回答“拿来的是什么”；同一个权重可以乘不同内容。 | 在工作纸记录本段问题：逐维汇总第一项 | 保留一句关于“逐维汇总第一项”的原始解释 | | 09:00—10:00 | 把本段材料留在屏幕，说明操作：Q2 手算第一维两项贡献 | Q2 手算第一维两项贡献 | 权重与值相乘的两个来源 | | 10:00—11:00 | 逐人检查记录；只追问：乙权重不为零但第一维贡献为何可能为零？ | 对照刚才的输入和输出，回答：乙权重不为零但第一维贡献为何可能为零？ | 回答中标出本段的输入条件和一个中间量 | | 11:00—12:00 | 请一位学生读记录，检查是否完成：权重与值相乘的两个来源。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在逐维汇总第一项旁保留修订痕迹 | 权重与值相乘的两个来源 | | 12:00—13:00 | 第二维仍使用同一组权重，但取各内容的第二个数。不要把两个维度混到一起，也不要把输出当作选中了甲或乙；加权汇总可以得到两份原材料都不完全相同的新数值。 | 在工作纸记录本段问题：第二维独立照样算 | 保留一句关于“第二维独立照样算”的原始解释 | | 13:00—14:00 | 把本段材料留在屏幕，说明操作：Q2 手算第二维并运行，核对每项贡献 | Q2 手算第二维并运行，核对每项贡献 | 每维贡献与最终和对应 | | 14:00—15:00 | 逐人检查记录；只追问：最后的向量必须等于某一原条目吗？ | 对照刚才的输入和输出，回答：最后的向量必须等于某一原条目吗？ | 回答中标出本段的输入条件和一个中间量 | | 15:00—16:00 | 请一位学生读记录，检查是否完成：每维贡献与最终和对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在第二维独立照样算旁保留修订痕迹 | 每维贡献与最终和对应 | | 16:00—17:00 | 把强度从三比一改成一比一，内容值保持原样。先预测哪个输出分量增加或减少，再运行。输入前后两轮截图或笔记应完整，才能证明你只改了比例。 | 在工作纸记录本段问题：只改匹配强度 | 保留一句关于“只改匹配强度”的原始解释 | | 17:00—18:00 | 把本段材料留在屏幕，说明操作：Q3 等强度运行并与默认比，记录两维变化 | Q3 等强度运行并与默认比，记录两维变化 | 单独改变匹配的对照 | | 18:00—19:00 | 逐人检查记录；只追问：本轮哪一组内容值完全没有变化？ | 对照刚才的输入和输出，回答：本轮哪一组内容值完全没有变化？ | 回答中标出本段的输入条件和一个中间量 | | 19:00—20:00 | 请一位学生读记录，检查是否完成：单独改变匹配的对照。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在只改匹配强度旁保留修订痕迹 | 单独改变匹配的对照 | | 20:00—21:00 | 恢复三比一，再只把乙第二维从八改四。此时权重应保持不变，但乙带来的内容变了。看起来最终结果也会变化，却与上一轮改变匹配比例的原因不同。 | 在工作纸记录本段问题：只改材料本身 | 保留一句关于“只改材料本身”的原始解释 | | 21:00—22:00 | 把本段材料留在屏幕，说明操作：Q3 对照乙内容修改前后，核对权重列不变 | Q3 对照乙内容修改前后，核对权重列不变 | 内容变化与匹配变化区分 | | 22:00—23:00 | 逐人检查记录；只追问：输出变化能否单独证明匹配权重变化？ | 对照刚才的输入和输出，回答：输出变化能否单独证明匹配权重变化？ | 回答中标出本段的输入条件和一个中间量 | | 23:00—24:00 | 请一位学生读记录，检查是否完成：内容变化与匹配变化区分。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在只改材料本身旁保留修订痕迹 | 内容变化与匹配变化区分 | | 24:00—25:00 | 如果禁止乙使用，就先把乙强度清零，再把剩余允许强度重新归一化。不是保留原来的四分之三就结束，否则剩余权重总和不再是一。禁止与不相关也不应混为一谈。 | 在工作纸记录本段问题：掩码先决定谁能参与 | 保留一句关于“掩码先决定谁能参与”的原始解释 | | 25:00—26:00 | 把本段材料留在屏幕，说明操作：保持默认内容，禁止最后位置，先算再运行 | 保持默认内容，禁止最后位置，先算再运行 | 禁止、重归一和汇总分开 | | 26:00—27:00 | 逐人检查记录；只追问：禁止位置的内容再大，是否仍应贡献输出？ | 对照刚才的输入和输出，回答：禁止位置的内容再大，是否仍应贡献输出？ | 回答中标出本段的输入条件和一个中间量 | | 27:00—28:00 | 请一位学生读记录，检查是否完成：禁止、重归一和汇总分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在掩码先决定谁能参与旁保留修订痕迹 | 禁止、重归一和汇总分开 | | 28:00—29:00 | 查询像这次要找什么，键用于算匹配，值是被取回的内容。它们来自网络计算，不是永远三个固定的中文问题。我们此页从强度开始，所以不能拿本页宣称已实现完整注意力层。 | 在工作纸记录本段问题：给 Q K V 留下直觉 | 保留一句关于“给 Q K V 留下直觉”的原始解释 | | 29:00—30:00 | 把本段材料留在屏幕，说明操作：Q5 给匹配阶段、内容阶段、本页起点画位置 | Q5 给匹配阶段、内容阶段、本页起点画位置 | 完整流程与简化起点标清 | | 30:00—31:00 | 逐人检查记录；只追问：本页哪一栏相当于尚未执行的 Q/K 计算？ | 对照刚才的输入和输出，回答：本页哪一栏相当于尚未执行的 Q/K 计算？ | 回答中标出本段的输入条件和一个中间量 | | 31:00—32:00 | 请一位学生读记录，检查是否完成：完整流程与简化起点标清。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在给 Q K V 留下直觉旁保留修订痕迹 | 完整流程与简化起点标清 | | 32:00—33:00 | 某位置权重高，说明这个汇总步骤更多使用它；真假还取决于内容与后续计算。一个权重图不能替代原文来源，也不能证明模型按人类相同理由作答。 | 在工作纸记录本段问题：热力图不等于事实证据 | 保留一句关于“热力图不等于事实证据”的原始解释 | | 33:00—34:00 | 把本段材料留在屏幕，说明操作：给“权重大所以说法正确”写一个反驳例子 | 给“权重大所以说法正确”写一个反驳例子 | 权重与事实正确性分开 | | 34:00—35:00 | 逐人检查记录；只追问：错误材料即使占很大比例，会被归一化自动改正吗？ | 对照刚才的输入和输出，回答：错误材料即使占很大比例，会被归一化自动改正吗？ | 回答中标出本段的输入条件和一个中间量 | | 35:00—36:00 | 请一位学生读记录，检查是否完成：权重与事实正确性分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在热力图不等于事实证据旁保留修订痕迹 | 权重与事实正确性分开 | | 36:00—37:00 | Q4 换成三份强度二、三、五，内容甲(5,0)、乙(0,10)、丙(2,2)。先手算总和与三个权重，再逐维计算。教师此时只检查材料和相乘行，不给结果。 | 在工作纸记录本段问题：独立三份内容 | 保留一句关于“独立三份内容”的原始解释 | | 37:00—38:00 | 把本段材料留在屏幕，说明操作：Q4 手算三份贡献后才运行 | Q4 手算三份贡献后才运行 | 三份权重和两维贡献完整 | | 38:00—39:00 | 逐人检查记录；只追问：三个强度是否先用同一总和归一化？ | 对照刚才的输入和输出，回答：三个强度是否先用同一总和归一化？ | 回答中标出本段的输入条件和一个中间量 | | 39:00—40:00 | 请一位学生读记录，检查是否完成：三份权重和两维贡献完整。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立三份内容旁保留修订痕迹 | 三份权重和两维贡献完整 | | 40:00—41:00 | 继续 Q4，禁止丙，但甲乙强度保持原值。先重新算允许总和，再计算两个剩余权重，最后汇总。不要从上一轮最终向量直接随意减去一项而忘记比例也改变了。 | 在工作纸记录本段问题：独立禁止最后一份 | 保留一句关于“独立禁止最后一份”的原始解释 | | 41:00—42:00 | 把本段材料留在屏幕，说明操作：Q4 禁止最后位置，写重归一过程 | Q4 禁止最后位置，写重归一过程 | 掩码后新总和与各贡献齐全 | | 42:00—43:00 | 逐人检查记录；只追问：清零之后剩余比例是否仍相加为一？ | 对照刚才的输入和输出，回答：清零之后剩余比例是否仍相加为一？ | 回答中标出本段的输入条件和一个中间量 | | 43:00—44:00 | 请一位学生读记录，检查是否完成：掩码后新总和与各贡献齐全。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立禁止最后一份旁保留修订痕迹 | 掩码后新总和与各贡献齐全 | | 44:00—45:00 | 互换独立题，逐列检查强度、权重、内容、贡献。发现结果不同，找最早出错的一列。若只看最后向量，很难知道是归一化错、位置错还是乘法错。 | 在工作纸记录本段问题：用贡献表而不是直觉争论 | 保留一句关于“用贡献表而不是直觉争论”的原始解释 | | 45:00—46:00 | 把本段材料留在屏幕，说明操作：Q5 用同伴贡献表复算一维 | Q5 用同伴贡献表复算一维 | 按列定位差异 | | 46:00—47:00 | 逐人检查记录；只追问：第一处差异属于选择资格还是配比计算？ | 对照刚才的输入和输出，回答：第一处差异属于选择资格还是配比计算？ | 回答中标出本段的输入条件和一个中间量 | | 47:00—48:00 | 请一位学生读记录，检查是否完成：按列定位差异。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在用贡献表而不是直觉争论旁保留修订痕迹 | 按列定位差异 | | 48:00—49:00 | 三份权重为 0.2、0.3、0.5，结果(2,4)。禁止丙后权重为 0.4、0.6、0，结果(2,6)。第二维反而增大，原因是剩余乙的份额重新变大，不是程序偷偷多拿了一份材料。 | 在工作纸记录本段问题：现在讲评独立计算 | 保留一句关于“现在讲评独立计算”的原始解释 | | 49:00—50:00 | 把本段材料留在屏幕，说明操作：修订 Q4，并解释为何禁掉一份后某维会增大 | 修订 Q4，并解释为何禁掉一份后某维会增大 | 答案附重归一的因果解释 | | 50:00—51:00 | 逐人检查记录；只追问：你用哪一项贡献解释第二维的变化？ | 对照刚才的输入和输出，回答：你用哪一项贡献解释第二维的变化？ | 回答中标出本段的输入条件和一个中间量 | | 51:00—52:00 | 请一位学生读记录，检查是否完成：答案附重归一的因果解释。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在现在讲评独立计算旁保留修订痕迹 | 答案附重归一的因果解释 | | 52:00—53:00 | 生成时当前位置不能看未来答案，这是一种资格限制。下一课会实际画允许关系。今天先用“禁止丙”记住：掩码改变允许集合，之后的配比必须在允许集合中处理。 | 在工作纸记录本段问题：从位置资格走向生成限制 | 保留一句关于“从位置资格走向生成限制”的原始解释 | | 53:00—54:00 | 把本段材料留在屏幕，说明操作：Q6 为三个位置写当前位置可看哪些已出现位置 | Q6 为三个位置写当前位置可看哪些已出现位置 | 因果可见性与资格限制关联 | | 54:00—55:00 | 逐人检查记录；只追问：第三个位置尚未出现时，第二位置能引用它吗？ | 对照刚才的输入和输出，回答：第三个位置尚未出现时，第二位置能引用它吗？ | 回答中标出本段的输入条件和一个中间量 | | 55:00—56:00 | 请一位学生读记录，检查是否完成：因果可见性与资格限制关联。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在从位置资格走向生成限制旁保留修订痕迹 | 因果可见性与资格限制关联 | | 56:00—57:00 | 这一层先问哪些可用，再问取多少，最后问取回什么。学生应能用独立题的一个数字回答各问题，并说清我们没有运行真实模型、没有核验材料真伪。 | 在工作纸记录本段问题：离堂分别回答三个问题 | 保留一句关于“离堂分别回答三个问题”的原始解释 | | 57:00—58:00 | 把本段材料留在屏幕，说明操作：Q6 提交三问题解释与实验边界 | Q6 提交三问题解释与实验边界 | 三个职责与表列对应 | | 58:00—59:00 | 逐人检查记录；只追问：你能把每一句解释指到贡献表一列吗？ | 对照刚才的输入和输出，回答：你能把每一句解释指到贡献表一列吗？ | 回答中标出本段的输入条件和一个中间量 | | 59:00—60:00 | 请一位学生读记录，检查是否完成：三个职责与表列对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在离堂分别回答三个问题旁保留修订痕迹 | 三个职责与表列对应 | --- # 第 9 课参考答案与评分｜把几份信息按比例合成一份 仅在独立题结束后展开。首次预测不按对错扣分；下列固定算例的答案来自明确的输入与算法。 Q2 强度和四，权重 0.75、0.25；第一维 3+0=3，第二维 0+2=2，结果(3,2)。Q3 等强度结果(2,4)；恢复原权重，仅乙值改(0,4)得(3,1)。默认禁止乙后权重(1,0)，结果(4,0)。 Q4 全允许权重(0.2,0.3,0.5)，结果(2,4)；禁止丙后总强度五，权重(0.4,0.6,0)，结果(2,6)。不是简单把原丙贡献删掉就结束，其他权重也重算。 Q5 Q/K 用于匹配，V 提供被汇总的内容；本页直接从非负匹配强度归一化开始，未算 Q/K 投影。Q6 三位置的因果可见集合为{1}、{1,2}、{1,2,3}。权重描述本次汇总比例，不提供事实核验，错误内容不会仅因高权重自动变真。 ## 10 分评分 Q4 全允许时，第一维为 0.2×5＋0.3×0＋0.5×2=2；第二维为 0.2×0＋0.3×10＋0.5×2=4。禁止丙后若直接删去贡献，会得到错误的 (1,3)，此时剩余权重仅相加为 0.5，已经不符合本题归一化要求。正确做法是用 2＋3 作为新分母，再得 (2,6)。本页输入的是取指数后的非负匹配强度；真实注意力的原始匹配分数还需要缩放、掩码和 softmax 等处理，不能直接用原始带符号分数照抄本页除总和。 - Q1—Q2：保留预测并正确展示默认条件的一个手算中间量，2 分；不因预测猜错扣分。 - Q3：按题目只改一个条件，记录原值、新值和实际变化，2 分。 - Q4：独立材料中的计算或检查过程可复算，2 分。 - Q5：解释本课机制并指出证据对应哪一步，2 分。 - Q6：迁移题与离堂题明确实验边界，2 分。 评分时应接受含义相同的学生表述。若输入条件与题目不同，先标记为另一轮实验，再要求补做指定条件；不要将不同条件的输出直接判成同一题的答案。