# 第 11 课教师讲稿｜同一句话为什么会被数成不同长度？

本课在 AIPath 的第 3 阶段，沿用原课主题“Token：大模型眼中的世界”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

## 学完能做什么

- 能依据玩具词表执行最长匹配并区分字符数、Token 和 ID。
- 能按行内实际出现次数统计相邻对并进行一次不重叠合并。
- 能核算给定输入与输出预留预算，说明实际模型计量需要对应编码器。

贯穿问题：**字符数没变，词表与切分规则怎样改变 Token 计数和预算？**

## 课前准备与完整实验材料

教师先在本课页面找到“最长匹配切分、相邻对计数与预算”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

上半页真实执行有限词表的最长匹配和预算求和；下半页真实计相邻对并合并一次，二者彼此独立。没有调用真实模型分词器或训练语言模型。

- 要切分的文字（输入框 `text`）初始为：

```text
蓝色书包在桌上
```

- 玩具词表（输入框 `vocab`）初始为：

```text
A
```

- 合并练习语料：每行用空格分开的符号（输入框 `corpus`）初始为：

```text
a b a b
a b a b
a b c
```

- 总预算上限（输入框 `budget`）初始为：

```text
10
```

- 额外输入预留（输入框 `system`）初始为：

```text
2
```

- 输出预留（输入框 `reserve`）初始为：

```text
3
```

默认 a-b 次数为五：两条 a b a b 各两次，a b c 一次。独立 m-n 才是四次。教师不能把两套频数混用。未收录字符按单个 Unicode 码点回退，仅用于本页，现实编码另查。

## 0—60 分钟：可以顺着使用的讲稿

### 0—4 分钟｜先承接文字块的约定

教师可以这样说：“上一课为了追踪生成，直接给了几个文字块。今天追问这些块从哪里来。同一句话可以按字拆，也可以把常见组合放在一起，具体由词表与编码算法决定，不能永远用字数代替模型输入长度。”

**学生具体动作。** Q1 数“蓝色书包在桌上”的汉字，再猜会切成几块。

**教师在桌边怎样追问。** 字数是原文属性，块数还依赖什么设置？

**本段要收集的证据。** 字符数与块数猜测分开。

### 4—8 分钟｜把词表当一本可查的小册子

教师可以这样说：“A 表允许蓝色、书包、在、桌上这些组合，也保留部分单字。本例从左往右找当前能匹配的最长条目。先说明规则，再亲手用尺子从句首往后划，不依靠中文分词直觉随意切。”

**学生具体动作。** Q2 用 A 表手切并写每块 ID。

**教师在桌边怎样追问。** 遇到“书包”时为什么不先取单字“书”？

**本段要收集的证据。** 最长匹配与词表依据。

### 8—12 分钟｜编号只是通行证

教师可以这样说：“ID 用来查找对应条目，不是词义大小，也不是相邻编号语义一定更近。Token 是编码结果中的一项，不等同于一个汉字、一个英文词或一个完整意思。”

**学生具体动作。** 解释书包 ID 与单字 ID 的作用。

**教师在桌边怎样追问。** ID 12 比 ID 13 小，能推出什么语义关系吗？

**本段要收集的证据。** 编号与语义距离不混同。

### 12—16 分钟｜运行验证而不改原句

教师可以这样说：“保持句子不动，点击按钮看文本块与 ID 表。把每块拼回原句，检查是否丢字或重复。编码不仅要数得出长度，还要保持原来内容的对应关系。”

**学生具体动作。** Q2 核对 A 表输出，逐块拼回原文。

**教师在桌边怎样追问。** 这四块是否完整覆盖七个汉字？

**本段要收集的证据。** 切分结果可重构原文。

### 16—20 分钟｜只换一本小册子

教师可以这样说：“B 表去掉书包、桌上、桌下组合，其他条目沿用 ID。先预测相同句子的块数，再切换词表运行。原句没变、字符数没变，块数增加来自编码规则变化。”

**学生具体动作。** Q3 切 B，记录块列表和预算变化。

**教师在桌边怎样追问。** 这一轮是文字变长了还是编码块变多了？

**本段要收集的证据。** 原文相同与块数不同的证据。

### 20—24 分钟｜把预算各部分加起来

教师可以这样说：“课堂预算是额外输入二、用户切分块数、输出预留三相加。真实服务还可能有其他包装开销，需用实际分词器与接口说明；本页只计算给定玩具规则，不能直接推估真实账单。”

**学生具体动作。** Q3 分别列 A/B 的三项预算，不只写总数。

**教师在桌边怎样追问。** 输出预留是否会因为尚未生成就不占规划空间？

**本段要收集的证据。** 预算组成清楚。

### 24—28 分钟｜词表还可以从资料中形成

教师可以这样说：“下半页是另一件事：用符号序列统计常见相邻对，合并一次。它是构造编码规则的教学例子，不是已经在训练语言模型。每条内部相邻对才计数，不把上一行尾巴和下一行开头连起来。”

**学生具体动作。** Q2 在三行 a/b/c 语料中划相邻连接。

**教师在桌边怎样追问。** 两行之间有没有被规定为连续文本？

**本段要收集的证据。** 计数范围限定为行内。

### 28—32 分钟｜先数重复出现的连接

教师可以这样说：“一行 a b a b 有三个相邻连接，其中 a 与 b 两次；重复这一行就要再计一次。按实际出现次数累计，不是只看存在几种不同连接。统计完再查看程序计数表。”

**学生具体动作。** 手算默认相邻对的次数并对照运行。

**教师在桌边怎样追问。** 同一行出现两次的相邻对能否只算一次？

**本段要收集的证据。** 频数与种类数量分清。

### 32—36 分钟｜合并与使用词表分开

教师可以这样说：“选频数最高的相邻对，从左到右按不重叠方式合并。下半页得到的新符号，并没有自动改写上半页 A/B 词表；两个实验演示不同阶段。把这种边界说清，防止学生以为按按钮就训练了大模型。”

**学生具体动作。** 给词表形成、固定编码、语言模型训练画三栏。

**教师在桌边怎样追问。** 下半页合并后，上半页有哪些设置仍固定？

**本段要收集的证据。** 三个过程互不冒充。

### 36—40 分钟｜独立新句子

教师可以这样说：“Q4 改成红色书包在桌下，先用 A 再用 B，完整列出块和 ID。不要把颜色条目的编号照抄成蓝色那一个。教师此时只检查词表材料，不宣布块数。”

**学生具体动作。** Q4 手切新句并分别运行 A/B。

**教师在桌边怎样追问。** 原句中的“下”是否被你写成上一题的“上”？

**本段要收集的证据。** 新句逐字对应两种词表。

### 40—44 分钟｜独立频数与预算

教师可以这样说：“继续 Q4，将语料换成 m n m n 一行与 m n x 两行。预算上限八、额外输入二、输出预留三，使用 A 编码。先逐条计数、再加预算，避免用页面默认上限。”

**学生具体动作。** Q4 手算相邻对、合并结果与预算盈余。

**教师在桌边怎样追问。** 你是否同时核对了语料行数和预算上限？

**本段要收集的证据。** 频数、合并、预算三段条件齐全。

### 44—48 分钟｜同伴只核对规则

教师可以这样说：“互换答案时不按“看起来像一个词”评判切分，而是查当前词表和最长匹配规则。频数争议则逐条给连接编号。规则明确，算例才可以由另一个人重做。”

**学生具体动作。** Q5 核对同伴一处最长匹配和一组相邻对计数。

**教师在桌边怎样追问。** 争议发生在词表缺项还是规则执行？

**本段要收集的证据。** 分歧定位到实际条目。

### 48—52 分钟｜此时才揭示独立结果

教师可以这样说：“新句 A 为红色、书包、在、桌下四块，B 为六块。m-n 四次，n-m 一次，n-x 两次，先合并 m 与 n。预算二加四加三为九，比八多一，需要真实调整输入或预留，而非修改统计数字。”

**学生具体动作。** 修订 Q4 并写超预算的可执行调整。

**教师在桌边怎样追问。** 减少输出预留会牺牲哪一项可用空间？

**本段要收集的证据。** 调整方案及代价明确。

### 52—56 分钟｜在真实工具前先找正确尺子

教师可以这样说：“以后使用实际模型，应查该模型的分词器与计量方式，不把今天玩具 A/B 当通用标准。遇到看不懂的字符，本页按单码点回退，仅为可运行后备，真实模型规则可能不同。”

**学生具体动作。** Q6 写实际项目核对 Token 预算需要找的资料。

**教师在桌边怎样追问。** 是否已经知道实际模型和对应编码器版本？

**本段要收集的证据。** 模型、分词器、额外开销的检查项。

### 56—60 分钟｜离堂写清三种训练与使用

教师可以这样说：“形成词表规则、按固定规则编码、用预测损失训练语言模型，是三件事。今天真正执行了前两类的极小计算，没有语言模型参数训练。把它们分开后，下一课才好解释文字接龙的目标。”

**学生具体动作。** Q6 写三过程与本页完成范围。

**教师在桌边怎样追问。** 把文字切成块之后，是否已经学会预测下一块？

**本段要收集的证据。** 编码与模型学习边界。

## 教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

### Token与可逆表示

Token是分词器定义的处理单元，可能对应一个字、词的一部分、多字片段或其他符号，并不必然等于人类认为的一个词。分词器把文本映射到编号序列，模型再把编号映射到向量。能否正确还原空格、标点和特殊符号与具体分词设置有关。比较长度时必须说明使用哪个分词器和输入，不应把一个示意网页的硬编码结果当作所有模型都相同的正式计数。

可以补充的例子：“蓝色书包在桌上”有7个汉字，本课词表A切4块，词表B切6块，同一原文也可有不同Token数。

应当停住的推论：不是每个Token固定若干字，字节层切分还可能使一个字符涉及多个单元。

### 词表与子词折中

若把每种完整词都列为独立条目，词表可能很大且难覆盖新词；若只用极细单位，序列又会变长。子词方法在覆盖与序列长度之间作工程取舍，常见片段可成为整体，其他内容由更小片段组合。词表确定了哪些编号合法，分词算法又决定怎样选择切分，因此知道词表也不能随意发明切法。今天规定最长匹配和单字后备，只是为了纸面可算，不称其为真实BPE实现。

可以补充的例子：词表同时含“书”和“书包”时，玩具最长匹配规则选“书包”；这条规则是本题写明的约定。

应当停住的推论：真实分词还可能包含预切分、字节编码、合并次序和特殊Token规则。

### BPE训练与固定词表使用

字节对编码BPE的一种核心思想是统计语料中相邻片段对的频次，按规则合并常见对，再重复形成新的片段表。训练词表改变的是编码规则；用训练好的词表切新文本则应用固定规则。这两件事又与语言模型预测下一Token的参数训练不同，不能都写成同一个“训练”。课堂只做一次小语料合并，让你理解频次与顺序；完整实现如何处理词边界或字节需要看指定分词器。

可以补充的例子：语料两条[a,b,a,b]和一条[a,b,c]中，a-b出现5次，可优先合并成ab；这不意味着模型学会了a、b的含义。

应当停住的推论：并列频次需要额外规则；本课例子无并列最大，不替真实算法编造通用优先级。

### 长度预算与实际核对

很多模型用Token数量约束输入和输出的可用长度，产品还可能加入系统说明、工具结果等额外内容。做预算应先按指定分词器计数，再为预计输出留空间，并核对产品的具体限制。我们的预算是一条明示的课堂规则：系统Token、用户输入Token与输出预留之和不能超过上限。它能训练计数思路，但不是某款产品现行额度或价格，也不能直接据此购买服务。

可以补充的例子：若总上限10，系统2、输入4、输出预留3，总计9，还有1个余量；不能只数用户可见文本。

应当停住的推论：不同服务可能另设输入、输出或缓存计费规则，正式使用需以对应版本文档与实际计数为准。

## 后置讲评：独立尝试结束后才展开

Q2 原句七汉字；A=[蓝色,书包,在,桌上]，ID=[11,12,15,16]，四块。默认 a-b 共五次，b-a 两次，b-c 一次；合并后 [ab,ab]、[ab,ab]、[ab,c]。注意重复行参与多次计数。

Q3 B=[蓝色,书,包,在,桌,上] 六块；A 预算 2+4+3=9，余一；B 为 11，超一。Q4 新句 A=[红色,书包,在,桌下]，ID=[21,12,15,22] 四块；B 为[红色,书,包,在,桌,下]六块。m-n 四次、n-m 一次、n-x 两次，合并后 [mn,mn]、[mn,x]、[mn,x]。按 A 的预算 2+4+3=9，超一；输出预留减一是一种可执行调整，但输出空间也减少。

Q5 以词表与规则判断，不凭主观词义；计数只算行内相邻对。Q6 下半页是在固定小材料上演示一次编码规则合并，上半页用固定表编码，均不是语言模型训练。实际预算应使用对应模型/版本分词器并考虑额外输入和输出配额。

## 板书、补救与课后加深

- 原文 → 固定词表与编码规则 → Token/ID。
- 行内相邻对计数 → 选最高频 → 不重叠合并。
- 额外输入 + 用户块 + 输出预留 ≤ 课堂预算。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

实际选择一个公开分词器，记录名称版本与完整输入，对比中英文、空格、网址和数字；再实现一轮BPE统计。真实工具使用与费用核对另行开展，课堂玩具结果不替代正式计数。 深化内容另计时间；先保证本课独立练习完成。

## 来源和实际完成范围

- [AIPath 对应课](https://aipath.buynao.com/#/lesson/11-tokens)：用作课序与主题对应。
- [Hugging Face：Byte-Pair Encoding tokenization](https://huggingface.co/learn/llm-course/en/chapter6/5)：核对词表学习与分词流程；本课有限词表最长匹配只是另设玩具规则。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。


## 逐分钟安排

| 时间 | 教师讲解与操作 | 学生活动 | 检查结果 |
|---|---|---|---|
| 00:00—01:00 | 上一课为了追踪生成，直接给了几个文字块。今天追问这些块从哪里来。同一句话可以按字拆，也可以把常见组合放在一起，具体由词表与编码算法决定，不能永远用字数代替模型输入长度。 | 在工作纸记录本段问题：先承接文字块的约定 | 保留一句关于“先承接文字块的约定”的原始解释 |
| 01:00—02:00 | 把本段材料留在屏幕，说明操作：Q1 数“蓝色书包在桌上”的汉字，再猜会切成几块 | Q1 数“蓝色书包在桌上”的汉字，再猜会切成几块 | 字符数与块数猜测分开 |
| 02:00—03:00 | 逐人检查记录；只追问：字数是原文属性，块数还依赖什么设置？ | 对照刚才的输入和输出，回答：字数是原文属性，块数还依赖什么设置？ | 回答中标出本段的输入条件和一个中间量 |
| 03:00—04:00 | 请一位学生读记录，检查是否完成：字符数与块数猜测分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先承接文字块的约定旁保留修订痕迹 | 字符数与块数猜测分开 |
| 04:00—05:00 | A 表允许蓝色、书包、在、桌上这些组合，也保留部分单字。本例从左往右找当前能匹配的最长条目。先说明规则，再亲手用尺子从句首往后划，不依靠中文分词直觉随意切。 | 在工作纸记录本段问题：把词表当一本可查的小册子 | 保留一句关于“把词表当一本可查的小册子”的原始解释 |
| 05:00—06:00 | 把本段材料留在屏幕，说明操作：Q2 用 A 表手切并写每块 ID | Q2 用 A 表手切并写每块 ID | 最长匹配与词表依据 |
| 06:00—07:00 | 逐人检查记录；只追问：遇到“书包”时为什么不先取单字“书”？ | 对照刚才的输入和输出，回答：遇到“书包”时为什么不先取单字“书”？ | 回答中标出本段的输入条件和一个中间量 |
| 07:00—08:00 | 请一位学生读记录，检查是否完成：最长匹配与词表依据。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把词表当一本可查的小册子旁保留修订痕迹 | 最长匹配与词表依据 |
| 08:00—09:00 | ID 用来查找对应条目，不是词义大小，也不是相邻编号语义一定更近。Token 是编码结果中的一项，不等同于一个汉字、一个英文词或一个完整意思。 | 在工作纸记录本段问题：编号只是通行证 | 保留一句关于“编号只是通行证”的原始解释 |
| 09:00—10:00 | 把本段材料留在屏幕，说明操作：解释书包 ID 与单字 ID 的作用 | 解释书包 ID 与单字 ID 的作用 | 编号与语义距离不混同 |
| 10:00—11:00 | 逐人检查记录；只追问：ID 12 比 ID 13 小，能推出什么语义关系吗？ | 对照刚才的输入和输出，回答：ID 12 比 ID 13 小，能推出什么语义关系吗？ | 回答中标出本段的输入条件和一个中间量 |
| 11:00—12:00 | 请一位学生读记录，检查是否完成：编号与语义距离不混同。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在编号只是通行证旁保留修订痕迹 | 编号与语义距离不混同 |
| 12:00—13:00 | 保持句子不动，点击按钮看文本块与 ID 表。把每块拼回原句，检查是否丢字或重复。编码不仅要数得出长度，还要保持原来内容的对应关系。 | 在工作纸记录本段问题：运行验证而不改原句 | 保留一句关于“运行验证而不改原句”的原始解释 |
| 13:00—14:00 | 把本段材料留在屏幕，说明操作：Q2 核对 A 表输出，逐块拼回原文 | Q2 核对 A 表输出，逐块拼回原文 | 切分结果可重构原文 |
| 14:00—15:00 | 逐人检查记录；只追问：这四块是否完整覆盖七个汉字？ | 对照刚才的输入和输出，回答：这四块是否完整覆盖七个汉字？ | 回答中标出本段的输入条件和一个中间量 |
| 15:00—16:00 | 请一位学生读记录，检查是否完成：切分结果可重构原文。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在运行验证而不改原句旁保留修订痕迹 | 切分结果可重构原文 |
| 16:00—17:00 | B 表去掉书包、桌上、桌下组合，其他条目沿用 ID。先预测相同句子的块数，再切换词表运行。原句没变、字符数没变，块数增加来自编码规则变化。 | 在工作纸记录本段问题：只换一本小册子 | 保留一句关于“只换一本小册子”的原始解释 |
| 17:00—18:00 | 把本段材料留在屏幕，说明操作：Q3 切 B，记录块列表和预算变化 | Q3 切 B，记录块列表和预算变化 | 原文相同与块数不同的证据 |
| 18:00—19:00 | 逐人检查记录；只追问：这一轮是文字变长了还是编码块变多了？ | 对照刚才的输入和输出，回答：这一轮是文字变长了还是编码块变多了？ | 回答中标出本段的输入条件和一个中间量 |
| 19:00—20:00 | 请一位学生读记录，检查是否完成：原文相同与块数不同的证据。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在只换一本小册子旁保留修订痕迹 | 原文相同与块数不同的证据 |
| 20:00—21:00 | 课堂预算是额外输入二、用户切分块数、输出预留三相加。真实服务还可能有其他包装开销，需用实际分词器与接口说明；本页只计算给定玩具规则，不能直接推估真实账单。 | 在工作纸记录本段问题：把预算各部分加起来 | 保留一句关于“把预算各部分加起来”的原始解释 |
| 21:00—22:00 | 把本段材料留在屏幕，说明操作：Q3 分别列 A/B 的三项预算，不只写总数 | Q3 分别列 A/B 的三项预算，不只写总数 | 预算组成清楚 |
| 22:00—23:00 | 逐人检查记录；只追问：输出预留是否会因为尚未生成就不占规划空间？ | 对照刚才的输入和输出，回答：输出预留是否会因为尚未生成就不占规划空间？ | 回答中标出本段的输入条件和一个中间量 |
| 23:00—24:00 | 请一位学生读记录，检查是否完成：预算组成清楚。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把预算各部分加起来旁保留修订痕迹 | 预算组成清楚 |
| 24:00—25:00 | 下半页是另一件事：用符号序列统计常见相邻对，合并一次。它是构造编码规则的教学例子，不是已经在训练语言模型。每条内部相邻对才计数，不把上一行尾巴和下一行开头连起来。 | 在工作纸记录本段问题：词表还可以从资料中形成 | 保留一句关于“词表还可以从资料中形成”的原始解释 |
| 25:00—26:00 | 把本段材料留在屏幕，说明操作：Q2 在三行 a/b/c 语料中划相邻连接 | Q2 在三行 a/b/c 语料中划相邻连接 | 计数范围限定为行内 |
| 26:00—27:00 | 逐人检查记录；只追问：两行之间有没有被规定为连续文本？ | 对照刚才的输入和输出，回答：两行之间有没有被规定为连续文本？ | 回答中标出本段的输入条件和一个中间量 |
| 27:00—28:00 | 请一位学生读记录，检查是否完成：计数范围限定为行内。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在词表还可以从资料中形成旁保留修订痕迹 | 计数范围限定为行内 |
| 28:00—29:00 | 一行 a b a b 有三个相邻连接，其中 a 与 b 两次；重复这一行就要再计一次。按实际出现次数累计，不是只看存在几种不同连接。统计完再查看程序计数表。 | 在工作纸记录本段问题：先数重复出现的连接 | 保留一句关于“先数重复出现的连接”的原始解释 |
| 29:00—30:00 | 把本段材料留在屏幕，说明操作：手算默认相邻对的次数并对照运行 | 手算默认相邻对的次数并对照运行 | 频数与种类数量分清 |
| 30:00—31:00 | 逐人检查记录；只追问：同一行出现两次的相邻对能否只算一次？ | 对照刚才的输入和输出，回答：同一行出现两次的相邻对能否只算一次？ | 回答中标出本段的输入条件和一个中间量 |
| 31:00—32:00 | 请一位学生读记录，检查是否完成：频数与种类数量分清。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先数重复出现的连接旁保留修订痕迹 | 频数与种类数量分清 |
| 32:00—33:00 | 选频数最高的相邻对，从左到右按不重叠方式合并。下半页得到的新符号，并没有自动改写上半页 A/B 词表；两个实验演示不同阶段。把这种边界说清，防止学生以为按按钮就训练了大模型。 | 在工作纸记录本段问题：合并与使用词表分开 | 保留一句关于“合并与使用词表分开”的原始解释 |
| 33:00—34:00 | 把本段材料留在屏幕，说明操作：给词表形成、固定编码、语言模型训练画三栏 | 给词表形成、固定编码、语言模型训练画三栏 | 三个过程互不冒充 |
| 34:00—35:00 | 逐人检查记录；只追问：下半页合并后，上半页有哪些设置仍固定？ | 对照刚才的输入和输出，回答：下半页合并后，上半页有哪些设置仍固定？ | 回答中标出本段的输入条件和一个中间量 |
| 35:00—36:00 | 请一位学生读记录，检查是否完成：三个过程互不冒充。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在合并与使用词表分开旁保留修订痕迹 | 三个过程互不冒充 |
| 36:00—37:00 | Q4 改成红色书包在桌下，先用 A 再用 B，完整列出块和 ID。不要把颜色条目的编号照抄成蓝色那一个。教师此时只检查词表材料，不宣布块数。 | 在工作纸记录本段问题：独立新句子 | 保留一句关于“独立新句子”的原始解释 |
| 37:00—38:00 | 把本段材料留在屏幕，说明操作：Q4 手切新句并分别运行 A/B | Q4 手切新句并分别运行 A/B | 新句逐字对应两种词表 |
| 38:00—39:00 | 逐人检查记录；只追问：原句中的“下”是否被你写成上一题的“上”？ | 对照刚才的输入和输出，回答：原句中的“下”是否被你写成上一题的“上”？ | 回答中标出本段的输入条件和一个中间量 |
| 39:00—40:00 | 请一位学生读记录，检查是否完成：新句逐字对应两种词表。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立新句子旁保留修订痕迹 | 新句逐字对应两种词表 |
| 40:00—41:00 | 继续 Q4，将语料换成 m n m n 一行与 m n x 两行。预算上限八、额外输入二、输出预留三，使用 A 编码。先逐条计数、再加预算，避免用页面默认上限。 | 在工作纸记录本段问题：独立频数与预算 | 保留一句关于“独立频数与预算”的原始解释 |
| 41:00—42:00 | 把本段材料留在屏幕，说明操作：Q4 手算相邻对、合并结果与预算盈余 | Q4 手算相邻对、合并结果与预算盈余 | 频数、合并、预算三段条件齐全 |
| 42:00—43:00 | 逐人检查记录；只追问：你是否同时核对了语料行数和预算上限？ | 对照刚才的输入和输出，回答：你是否同时核对了语料行数和预算上限？ | 回答中标出本段的输入条件和一个中间量 |
| 43:00—44:00 | 请一位学生读记录，检查是否完成：频数、合并、预算三段条件齐全。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立频数与预算旁保留修订痕迹 | 频数、合并、预算三段条件齐全 |
| 44:00—45:00 | 互换答案时不按“看起来像一个词”评判切分，而是查当前词表和最长匹配规则。频数争议则逐条给连接编号。规则明确，算例才可以由另一个人重做。 | 在工作纸记录本段问题：同伴只核对规则 | 保留一句关于“同伴只核对规则”的原始解释 |
| 45:00—46:00 | 把本段材料留在屏幕，说明操作：Q5 核对同伴一处最长匹配和一组相邻对计数 | Q5 核对同伴一处最长匹配和一组相邻对计数 | 分歧定位到实际条目 |
| 46:00—47:00 | 逐人检查记录；只追问：争议发生在词表缺项还是规则执行？ | 对照刚才的输入和输出，回答：争议发生在词表缺项还是规则执行？ | 回答中标出本段的输入条件和一个中间量 |
| 47:00—48:00 | 请一位学生读记录，检查是否完成：分歧定位到实际条目。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在同伴只核对规则旁保留修订痕迹 | 分歧定位到实际条目 |
| 48:00—49:00 | 新句 A 为红色、书包、在、桌下四块，B 为六块。m-n 四次，n-m 一次，n-x 两次，先合并 m 与 n。预算二加四加三为九，比八多一，需要真实调整输入或预留，而非修改统计数字。 | 在工作纸记录本段问题：此时才揭示独立结果 | 保留一句关于“此时才揭示独立结果”的原始解释 |
| 49:00—50:00 | 把本段材料留在屏幕，说明操作：修订 Q4 并写超预算的可执行调整 | 修订 Q4 并写超预算的可执行调整 | 调整方案及代价明确 |
| 50:00—51:00 | 逐人检查记录；只追问：减少输出预留会牺牲哪一项可用空间？ | 对照刚才的输入和输出，回答：减少输出预留会牺牲哪一项可用空间？ | 回答中标出本段的输入条件和一个中间量 |
| 51:00—52:00 | 请一位学生读记录，检查是否完成：调整方案及代价明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在此时才揭示独立结果旁保留修订痕迹 | 调整方案及代价明确 |
| 52:00—53:00 | 以后使用实际模型，应查该模型的分词器与计量方式，不把今天玩具 A/B 当通用标准。遇到看不懂的字符，本页按单码点回退，仅为可运行后备，真实模型规则可能不同。 | 在工作纸记录本段问题：在真实工具前先找正确尺子 | 保留一句关于“在真实工具前先找正确尺子”的原始解释 |
| 53:00—54:00 | 把本段材料留在屏幕，说明操作：Q6 写实际项目核对 Token 预算需要找的资料 | Q6 写实际项目核对 Token 预算需要找的资料 | 模型、分词器、额外开销的检查项 |
| 54:00—55:00 | 逐人检查记录；只追问：是否已经知道实际模型和对应编码器版本？ | 对照刚才的输入和输出，回答：是否已经知道实际模型和对应编码器版本？ | 回答中标出本段的输入条件和一个中间量 |
| 55:00—56:00 | 请一位学生读记录，检查是否完成：模型、分词器、额外开销的检查项。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在在真实工具前先找正确尺子旁保留修订痕迹 | 模型、分词器、额外开销的检查项 |
| 56:00—57:00 | 形成词表规则、按固定规则编码、用预测损失训练语言模型，是三件事。今天真正执行了前两类的极小计算，没有语言模型参数训练。把它们分开后，下一课才好解释文字接龙的目标。 | 在工作纸记录本段问题：离堂写清三种训练与使用 | 保留一句关于“离堂写清三种训练与使用”的原始解释 |
| 57:00—58:00 | 把本段材料留在屏幕，说明操作：Q6 写三过程与本页完成范围 | Q6 写三过程与本页完成范围 | 编码与模型学习边界 |
| 58:00—59:00 | 逐人检查记录；只追问：把文字切成块之后，是否已经学会预测下一块？ | 对照刚才的输入和输出，回答：把文字切成块之后，是否已经学会预测下一块？ | 回答中标出本段的输入条件和一个中间量 |
| 59:00—60:00 | 请一位学生读记录，检查是否完成：编码与模型学习边界。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在离堂写清三种训练与使用旁保留修订痕迹 | 编码与模型学习边界 |

---

# 第 11 课参考答案与评分｜同一句话为什么会被数成不同长度？

仅在独立题结束后展开。首次预测不按对错扣分；下列固定算例的答案来自明确的输入与算法。

Q2 原句七汉字；A=[蓝色,书包,在,桌上]，ID=[11,12,15,16]，四块。默认 a-b 共五次，b-a 两次，b-c 一次；合并后 [ab,ab]、[ab,ab]、[ab,c]。注意重复行参与多次计数。

Q3 B=[蓝色,书,包,在,桌,上] 六块；A 预算 2+4+3=9，余一；B 为 11，超一。Q4 新句 A=[红色,书包,在,桌下]，ID=[21,12,15,22] 四块；B 为[红色,书,包,在,桌,下]六块。m-n 四次、n-m 一次、n-x 两次，合并后 [mn,mn]、[mn,x]、[mn,x]。按 A 的预算 2+4+3=9，超一；输出预留减一是一种可执行调整，但输出空间也减少。

Q5 以词表与规则判断，不凭主观词义；计数只算行内相邻对。Q6 下半页是在固定小材料上演示一次编码规则合并，上半页用固定表编码，均不是语言模型训练。实际预算应使用对应模型/版本分词器并考虑额外输入和输出配额。

## 10 分评分

- Q1—Q2：保留预测并正确展示默认条件的一个手算中间量，2 分；不因预测猜错扣分。
- Q3：按题目只改一个条件，记录原值、新值和实际变化，2 分。
- Q4：独立材料中的计算或检查过程可复算，2 分。
- Q5：解释本课机制并指出证据对应哪一步，2 分。
- Q6：迁移题与离堂题明确实验边界，2 分。

评分时应接受含义相同的学生表述。若输入条件与题目不同，先标记为另一轮实验，再要求补做指定条件；不要将不同条件的输出直接判成同一题的答案。