第 9 课教师讲稿｜把几份信息按比例合成一份

本课在 AIPath 的第 2 阶段，沿用原课主题“注意力机制：AI 学会“划重点””。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

学完能做什么

• 能把非负匹配强度归一化，并逐维计算内容的加权贡献。
• 能分别改变匹配强度、内容值与允许集合，解释重新归一化后的变化。
• 能区分 Q/K 匹配与 V 内容，说明本页简化起点及注意力不证明事实的边界。

贯穿问题：匹配比例改变，与材料内容改变，怎样分别影响输出？

课前准备与完整实验材料

教师先在本课页面找到“注意力的归一化与加权汇总”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

程序真实执行允许位置过滤、非负强度归一化和二维加权求和。输入强度等价于 softmax 中取指数后的量；本页没有实现查询/键投影，不把强度输入称为原始有符号 logits。

• 非负匹配强度（逗号分隔）（输入框 weights）初始为：

3,1

• 各位置两维内容值（JSON）（输入框 values）初始为：

[[4,0],[0,8]]

• 允许使用的位置（输入框 mask）初始为：

all

强度数量与内容行数必须相同，允许强度和须大于零。独立题先恢复“全部允许”，再按任务禁止最后位置。教师应让学生自己算一次重归一，不直接宣布修改后权重。

0—60 分钟：可以顺着使用的讲稿

0—4 分钟｜先从配比而不是大矩阵进入

教师可以这样说：“上一课把候选条目按距离排序；今天看另一件事，把多个位置的信息按比例汇总。先借用调配颜色的直觉：每份放多少与每份本身含什么，是两个问题。这个比喻只帮助理解加权，不代表语言就是颜料。”

学生具体动作。 Q1 猜甲多乙少时结果更受哪份材料影响。

教师在桌边怎样追问。 比例与材料内容是不是同一个输入？

本段要收集的证据。 把份额和内容画两栏。

4—8 分钟｜本页从中间一步开始

教师可以这样说：“真实注意力先由查询和键算匹配分数，再做归一化。本页为了看清后半段，直接给分数取指数后的非负强度三和一，没有运行 Q/K 投影。三比一会变成总和为一的比例。”

学生具体动作。 Q2 把强度 3、1 相加，再分别除总和。

教师在桌边怎样追问。 强度三是否已经是一个概率？

本段要收集的证据。 原始强度与归一化比例分开。

8—12 分钟｜逐维汇总第一项

教师可以这样说：“甲的内容是(4,0)，乙是(0,8)。第一维先算甲贡献，再算乙贡献，两项相加。权重回答“取多少”，内容值回答“拿来的是什么”；同一个权重可以乘不同内容。”

学生具体动作。 Q2 手算第一维两项贡献。

教师在桌边怎样追问。 乙权重不为零但第一维贡献为何可能为零？

本段要收集的证据。 权重与值相乘的两个来源。

12—16 分钟｜第二维独立照样算

教师可以这样说：“第二维仍使用同一组权重，但取各内容的第二个数。不要把两个维度混到一起，也不要把输出当作选中了甲或乙；加权汇总可以得到两份原材料都不完全相同的新数值。”

学生具体动作。 Q2 手算第二维并运行，核对每项贡献。

教师在桌边怎样追问。 最后的向量必须等于某一原条目吗？

本段要收集的证据。 每维贡献与最终和对应。

16—20 分钟｜只改匹配强度

教师可以这样说：“把强度从三比一改成一比一，内容值保持原样。先预测哪个输出分量增加或减少，再运行。输入前后两轮截图或笔记应完整，才能证明你只改了比例。”

学生具体动作。 Q3 等强度运行并与默认比，记录两维变化。

教师在桌边怎样追问。 本轮哪一组内容值完全没有变化？

本段要收集的证据。 单独改变匹配的对照。

20—24 分钟｜只改材料本身

教师可以这样说：“恢复三比一，再只把乙第二维从八改四。此时权重应保持不变，但乙带来的内容变了。看起来最终结果也会变化，却与上一轮改变匹配比例的原因不同。”

学生具体动作。 Q3 对照乙内容修改前后，核对权重列不变。

教师在桌边怎样追问。 输出变化能否单独证明匹配权重变化？

本段要收集的证据。 内容变化与匹配变化区分。

24—28 分钟｜掩码先决定谁能参与

教师可以这样说：“如果禁止乙使用，就先把乙强度清零，再把剩余允许强度重新归一化。不是保留原来的四分之三就结束，否则剩余权重总和不再是一。禁止与不相关也不应混为一谈。”

学生具体动作。 保持默认内容，禁止最后位置，先算再运行。

教师在桌边怎样追问。 禁止位置的内容再大，是否仍应贡献输出？

本段要收集的证据。 禁止、重归一和汇总分开。

28—32 分钟｜给 Q K V 留下直觉

教师可以这样说：“查询像这次要找什么，键用于算匹配，值是被取回的内容。它们来自网络计算，不是永远三个固定的中文问题。我们此页从强度开始，所以不能拿本页宣称已实现完整注意力层。”

学生具体动作。 Q5 给匹配阶段、内容阶段、本页起点画位置。

教师在桌边怎样追问。 本页哪一栏相当于尚未执行的 Q/K 计算？

本段要收集的证据。 完整流程与简化起点标清。

32—36 分钟｜热力图不等于事实证据

教师可以这样说：“某位置权重高，说明这个汇总步骤更多使用它；真假还取决于内容与后续计算。一个权重图不能替代原文来源，也不能证明模型按人类相同理由作答。”

学生具体动作。 给“权重大所以说法正确”写一个反驳例子。

教师在桌边怎样追问。 错误材料即使占很大比例，会被归一化自动改正吗？

本段要收集的证据。 权重与事实正确性分开。

36—40 分钟｜独立三份内容

教师可以这样说：“Q4 换成三份强度二、三、五，内容甲(5,0)、乙(0,10)、丙(2,2)。先手算总和与三个权重，再逐维计算。教师此时只检查材料和相乘行，不给结果。”

学生具体动作。 Q4 手算三份贡献后才运行。

教师在桌边怎样追问。 三个强度是否先用同一总和归一化？

本段要收集的证据。 三份权重和两维贡献完整。

40—44 分钟｜独立禁止最后一份

教师可以这样说：“继续 Q4，禁止丙，但甲乙强度保持原值。先重新算允许总和，再计算两个剩余权重，最后汇总。不要从上一轮最终向量直接随意减去一项而忘记比例也改变了。”

学生具体动作。 Q4 禁止最后位置，写重归一过程。

教师在桌边怎样追问。 清零之后剩余比例是否仍相加为一？

本段要收集的证据。 掩码后新总和与各贡献齐全。

44—48 分钟｜用贡献表而不是直觉争论

教师可以这样说：“互换独立题，逐列检查强度、权重、内容、贡献。发现结果不同，找最早出错的一列。若只看最后向量，很难知道是归一化错、位置错还是乘法错。”

学生具体动作。 Q5 用同伴贡献表复算一维。

教师在桌边怎样追问。 第一处差异属于选择资格还是配比计算？

本段要收集的证据。 按列定位差异。

48—52 分钟｜现在讲评独立计算

教师可以这样说：“三份权重为 0.2、0.3、0.5，结果(2,4)。禁止丙后权重为 0.4、0.6、0，结果(2,6)。第二维反而增大，原因是剩余乙的份额重新变大，不是程序偷偷多拿了一份材料。”

学生具体动作。 修订 Q4，并解释为何禁掉一份后某维会增大。

教师在桌边怎样追问。 你用哪一项贡献解释第二维的变化？

本段要收集的证据。 答案附重归一的因果解释。

52—56 分钟｜从位置资格走向生成限制

教师可以这样说：“生成时当前位置不能看未来答案，这是一种资格限制。下一课会实际画允许关系。今天先用“禁止丙”记住：掩码改变允许集合，之后的配比必须在允许集合中处理。”

学生具体动作。 Q6 为三个位置写当前位置可看哪些已出现位置。

教师在桌边怎样追问。 第三个位置尚未出现时，第二位置能引用它吗？

本段要收集的证据。 因果可见性与资格限制关联。

56—60 分钟｜离堂分别回答三个问题

教师可以这样说：“这一层先问哪些可用，再问取多少，最后问取回什么。学生应能用独立题的一个数字回答各问题，并说清我们没有运行真实模型、没有核验材料真伪。”

学生具体动作。 Q6 提交三问题解释与实验边界。

教师在桌边怎样追问。 你能把每一句解释指到贡献表一列吗？

本段要收集的证据。 三个职责与表列对应。

教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

上下文与信息混合

文本块的起始表示需要与其他位置的信息结合，才能反映具体语境。注意力提供一种可计算的信息混合机制：为当前位置与允许参考的位置计算匹配分，再把分数转换成比例，最后按比例汇总信息。新的向量因此可能不同于原来的入口向量。整个过程是按模型参数对当前输入计算，不要求修改权重。我们用短表看一个位置如何汇总，暂不推导完整矩阵公式。

可以补充的例子：“把钥匙放在盒子旁，它是蓝色的”存在指代歧义；模型需要上下文线索，不能仅凭一张注意力图断言已消除歧义。

应当停住的推论：长距离可连接不等于信息零损失或总被利用，输入限制与模型能力仍会影响结果。

查询键值分工

Q是查询向量，K是用于匹配的键向量，V是实际被汇总的值向量。常见实现从当前表示经不同学习到的变换得到它们；Q与各K计算匹配分，V则在后面乘比例参与求和。它们不是三段隐藏的自然语言提问，也不是固定由人给每个词写的标签。分开这些角色能让“如何寻找信息”与“提供什么信息”有不同参数，但不意味着我们能直接读出其全部语义。

可以补充的例子：假设某位置对甲、乙的分数分别为ln3和0，随后比例为0.75与0.25；被混合的内容却由V甲、V乙决定。

应当停住的推论：分数高不保证该位置的事实正确；V与K也不必是同一个向量。

归一化与加权求和

常见softmax把允许位置的分数转成非负且总和为1的权重，然后对值向量逐维乘权重相加。今天直接给出已核算权重，不要求计算指数函数。权重不是一个“最正确句子”的标签，而是当前这个头、这个位置的信息混合比例。换权重会改变同一批值的组合；保持权重但改变值，也会改变结果。仅观察比例不能还原所有后续变换，因此也不能当作完整的答案解释。

可以补充的例子：V甲=(4,0)、V乙=(0,8)，权重0.75与0.25得到(3,2)，不是把甲整条复制出来。

应当停住的推论：可见且有限分数经普通softmax常为正，因果掩码可令禁看位置权重为0；不能说每个位置永不被排除。

多头因果掩码与并行边界

多个注意力头可以用不同变换形成不同混合结果，再组合起来；不能预先规定某个头永远只负责语法或指代。自回归生成使用因果掩码，使某位置只能依赖允许的已有位置，不能偷看未来答案。已知训练序列可在掩码约束下并行处理许多位置，但生成新的后续文本通常仍有先后依赖。注意力连接减少某些长路径限制，也带来对多位置关系计算的资源成本。

可以补充的例子：三位置序列在因果设置下：位置1可看1，位置2可看1和2，位置3可看1、2、3。

应当停住的推论：本课只解释一个普通密集注意力例子；不同高效结构会改变计算方式，不能把所有模型成本写成唯一公式。

后置讲评：独立尝试结束后才展开

Q2 强度和四，权重 0.75、0.25；第一维 3+0=3，第二维 0+2=2，结果(3,2)。Q3 等强度结果(2,4)；恢复原权重，仅乙值改(0,4)得(3,1)。默认禁止乙后权重(1,0)，结果(4,0)。

Q4 全允许权重(0.2,0.3,0.5)，结果(2,4)；禁止丙后总强度五，权重(0.4,0.6,0)，结果(2,6)。不是简单把原丙贡献删掉就结束，其他权重也重算。

Q5 Q/K 用于匹配，V 提供被汇总的内容；本页直接从非负匹配强度归一化开始，未算 Q/K 投影。Q6 三位置的因果可见集合为{1}、{1,2}、{1,2,3}。权重描述本次汇总比例，不提供事实核验，错误内容不会仅因高权重自动变真。

板书、补救与课后加深

• 可用位置 → 强度归一化 → 逐维乘内容 → 相加。
• 匹配比例改变与内容改变分两轮。
• 高权重不能替代真假核验。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

用2×2矩阵推导缩放点积注意力并计算softmax，比较掩码位置；阅读多头拼接与输出投影，进一步用真实模型实验检验可解释性假说。 深化内容另计时间；先保证本课独立练习完成。

来源和实际完成范围

• AIPath 对应课：用作课序与主题对应。
• Vaswani et al.：Attention Is All You Need（2017）：核对查询、键、值、注意力加权及 Transformer 构件；不把原论文架构当所有产品的内部图。
• Jain & Wallace：Attention is not Explanation（2019）：支持注意力权重不应直接当作完整模型解释的边界；不推断任何权重都毫无信息。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。