第 11 课教师讲稿｜同一句话为什么会被数成不同长度？

本课在 AIPath 的第 3 阶段，沿用原课主题“Token：大模型眼中的世界”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

学完能做什么

• 能依据玩具词表执行最长匹配并区分字符数、Token 和 ID。
• 能按行内实际出现次数统计相邻对并进行一次不重叠合并。
• 能核算给定输入与输出预留预算，说明实际模型计量需要对应编码器。

贯穿问题：字符数没变，词表与切分规则怎样改变 Token 计数和预算？

课前准备与完整实验材料

教师先在本课页面找到“最长匹配切分、相邻对计数与预算”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

上半页真实执行有限词表的最长匹配和预算求和；下半页真实计相邻对并合并一次，二者彼此独立。没有调用真实模型分词器或训练语言模型。

• 要切分的文字（输入框 text）初始为：

蓝色书包在桌上

• 玩具词表（输入框 vocab）初始为：

A

• 合并练习语料：每行用空格分开的符号（输入框 corpus）初始为：

a b a b
a b a b
a b c

• 总预算上限（输入框 budget）初始为：

10

• 额外输入预留（输入框 system）初始为：

2

• 输出预留（输入框 reserve）初始为：

3

默认 a-b 次数为五：两条 a b a b 各两次，a b c 一次。独立 m-n 才是四次。教师不能把两套频数混用。未收录字符按单个 Unicode 码点回退，仅用于本页，现实编码另查。

0—60 分钟：可以顺着使用的讲稿

0—4 分钟｜先承接文字块的约定

教师可以这样说：“上一课为了追踪生成，直接给了几个文字块。今天追问这些块从哪里来。同一句话可以按字拆，也可以把常见组合放在一起，具体由词表与编码算法决定，不能永远用字数代替模型输入长度。”

学生具体动作。 Q1 数“蓝色书包在桌上”的汉字，再猜会切成几块。

教师在桌边怎样追问。 字数是原文属性，块数还依赖什么设置？

本段要收集的证据。 字符数与块数猜测分开。

4—8 分钟｜把词表当一本可查的小册子

教师可以这样说：“A 表允许蓝色、书包、在、桌上这些组合，也保留部分单字。本例从左往右找当前能匹配的最长条目。先说明规则，再亲手用尺子从句首往后划，不依靠中文分词直觉随意切。”

学生具体动作。 Q2 用 A 表手切并写每块 ID。

教师在桌边怎样追问。 遇到“书包”时为什么不先取单字“书”？

本段要收集的证据。 最长匹配与词表依据。

8—12 分钟｜编号只是通行证

教师可以这样说：“ID 用来查找对应条目，不是词义大小，也不是相邻编号语义一定更近。Token 是编码结果中的一项，不等同于一个汉字、一个英文词或一个完整意思。”

学生具体动作。 解释书包 ID 与单字 ID 的作用。

教师在桌边怎样追问。 ID 12 比 ID 13 小，能推出什么语义关系吗？

本段要收集的证据。 编号与语义距离不混同。

12—16 分钟｜运行验证而不改原句

教师可以这样说：“保持句子不动，点击按钮看文本块与 ID 表。把每块拼回原句，检查是否丢字或重复。编码不仅要数得出长度，还要保持原来内容的对应关系。”

学生具体动作。 Q2 核对 A 表输出，逐块拼回原文。

教师在桌边怎样追问。 这四块是否完整覆盖七个汉字？

本段要收集的证据。 切分结果可重构原文。

16—20 分钟｜只换一本小册子

教师可以这样说：“B 表去掉书包、桌上、桌下组合，其他条目沿用 ID。先预测相同句子的块数，再切换词表运行。原句没变、字符数没变，块数增加来自编码规则变化。”

学生具体动作。 Q3 切 B，记录块列表和预算变化。

教师在桌边怎样追问。 这一轮是文字变长了还是编码块变多了？

本段要收集的证据。 原文相同与块数不同的证据。

20—24 分钟｜把预算各部分加起来

教师可以这样说：“课堂预算是额外输入二、用户切分块数、输出预留三相加。真实服务还可能有其他包装开销，需用实际分词器与接口说明；本页只计算给定玩具规则，不能直接推估真实账单。”

学生具体动作。 Q3 分别列 A/B 的三项预算，不只写总数。

教师在桌边怎样追问。 输出预留是否会因为尚未生成就不占规划空间？

本段要收集的证据。 预算组成清楚。

24—28 分钟｜词表还可以从资料中形成

教师可以这样说：“下半页是另一件事：用符号序列统计常见相邻对，合并一次。它是构造编码规则的教学例子，不是已经在训练语言模型。每条内部相邻对才计数，不把上一行尾巴和下一行开头连起来。”

学生具体动作。 Q2 在三行 a/b/c 语料中划相邻连接。

教师在桌边怎样追问。 两行之间有没有被规定为连续文本？

本段要收集的证据。 计数范围限定为行内。

28—32 分钟｜先数重复出现的连接

教师可以这样说：“一行 a b a b 有三个相邻连接，其中 a 与 b 两次；重复这一行就要再计一次。按实际出现次数累计，不是只看存在几种不同连接。统计完再查看程序计数表。”

学生具体动作。 手算默认相邻对的次数并对照运行。

教师在桌边怎样追问。 同一行出现两次的相邻对能否只算一次？

本段要收集的证据。 频数与种类数量分清。

32—36 分钟｜合并与使用词表分开

教师可以这样说：“选频数最高的相邻对，从左到右按不重叠方式合并。下半页得到的新符号，并没有自动改写上半页 A/B 词表；两个实验演示不同阶段。把这种边界说清，防止学生以为按按钮就训练了大模型。”

学生具体动作。 给词表形成、固定编码、语言模型训练画三栏。

教师在桌边怎样追问。 下半页合并后，上半页有哪些设置仍固定？

本段要收集的证据。 三个过程互不冒充。

36—40 分钟｜独立新句子

教师可以这样说：“Q4 改成红色书包在桌下，先用 A 再用 B，完整列出块和 ID。不要把颜色条目的编号照抄成蓝色那一个。教师此时只检查词表材料，不宣布块数。”

学生具体动作。 Q4 手切新句并分别运行 A/B。

教师在桌边怎样追问。 原句中的“下”是否被你写成上一题的“上”？

本段要收集的证据。 新句逐字对应两种词表。

40—44 分钟｜独立频数与预算

教师可以这样说：“继续 Q4，将语料换成 m n m n 一行与 m n x 两行。预算上限八、额外输入二、输出预留三，使用 A 编码。先逐条计数、再加预算，避免用页面默认上限。”

学生具体动作。 Q4 手算相邻对、合并结果与预算盈余。

教师在桌边怎样追问。 你是否同时核对了语料行数和预算上限？

本段要收集的证据。 频数、合并、预算三段条件齐全。

44—48 分钟｜同伴只核对规则

教师可以这样说：“互换答案时不按“看起来像一个词”评判切分，而是查当前词表和最长匹配规则。频数争议则逐条给连接编号。规则明确，算例才可以由另一个人重做。”

学生具体动作。 Q5 核对同伴一处最长匹配和一组相邻对计数。

教师在桌边怎样追问。 争议发生在词表缺项还是规则执行？

本段要收集的证据。 分歧定位到实际条目。

48—52 分钟｜此时才揭示独立结果

教师可以这样说：“新句 A 为红色、书包、在、桌下四块，B 为六块。m-n 四次，n-m 一次，n-x 两次，先合并 m 与 n。预算二加四加三为九，比八多一，需要真实调整输入或预留，而非修改统计数字。”

学生具体动作。 修订 Q4 并写超预算的可执行调整。

教师在桌边怎样追问。 减少输出预留会牺牲哪一项可用空间？

本段要收集的证据。 调整方案及代价明确。

52—56 分钟｜在真实工具前先找正确尺子

教师可以这样说：“以后使用实际模型，应查该模型的分词器与计量方式，不把今天玩具 A/B 当通用标准。遇到看不懂的字符，本页按单码点回退，仅为可运行后备，真实模型规则可能不同。”

学生具体动作。 Q6 写实际项目核对 Token 预算需要找的资料。

教师在桌边怎样追问。 是否已经知道实际模型和对应编码器版本？

本段要收集的证据。 模型、分词器、额外开销的检查项。

56—60 分钟｜离堂写清三种训练与使用

教师可以这样说：“形成词表规则、按固定规则编码、用预测损失训练语言模型，是三件事。今天真正执行了前两类的极小计算，没有语言模型参数训练。把它们分开后，下一课才好解释文字接龙的目标。”

学生具体动作。 Q6 写三过程与本页完成范围。

教师在桌边怎样追问。 把文字切成块之后，是否已经学会预测下一块？

本段要收集的证据。 编码与模型学习边界。

教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

Token与可逆表示

Token是分词器定义的处理单元，可能对应一个字、词的一部分、多字片段或其他符号，并不必然等于人类认为的一个词。分词器把文本映射到编号序列，模型再把编号映射到向量。能否正确还原空格、标点和特殊符号与具体分词设置有关。比较长度时必须说明使用哪个分词器和输入，不应把一个示意网页的硬编码结果当作所有模型都相同的正式计数。

可以补充的例子：“蓝色书包在桌上”有7个汉字，本课词表A切4块，词表B切6块，同一原文也可有不同Token数。

应当停住的推论：不是每个Token固定若干字，字节层切分还可能使一个字符涉及多个单元。

词表与子词折中

若把每种完整词都列为独立条目，词表可能很大且难覆盖新词；若只用极细单位，序列又会变长。子词方法在覆盖与序列长度之间作工程取舍，常见片段可成为整体，其他内容由更小片段组合。词表确定了哪些编号合法，分词算法又决定怎样选择切分，因此知道词表也不能随意发明切法。今天规定最长匹配和单字后备，只是为了纸面可算，不称其为真实BPE实现。

可以补充的例子：词表同时含“书”和“书包”时，玩具最长匹配规则选“书包”；这条规则是本题写明的约定。

应当停住的推论：真实分词还可能包含预切分、字节编码、合并次序和特殊Token规则。

BPE训练与固定词表使用

字节对编码BPE的一种核心思想是统计语料中相邻片段对的频次，按规则合并常见对，再重复形成新的片段表。训练词表改变的是编码规则；用训练好的词表切新文本则应用固定规则。这两件事又与语言模型预测下一Token的参数训练不同，不能都写成同一个“训练”。课堂只做一次小语料合并，让你理解频次与顺序；完整实现如何处理词边界或字节需要看指定分词器。

可以补充的例子：语料两条[a,b,a,b]和一条[a,b,c]中，a-b出现5次，可优先合并成ab；这不意味着模型学会了a、b的含义。

应当停住的推论：并列频次需要额外规则；本课例子无并列最大，不替真实算法编造通用优先级。

长度预算与实际核对

很多模型用Token数量约束输入和输出的可用长度，产品还可能加入系统说明、工具结果等额外内容。做预算应先按指定分词器计数，再为预计输出留空间，并核对产品的具体限制。我们的预算是一条明示的课堂规则：系统Token、用户输入Token与输出预留之和不能超过上限。它能训练计数思路，但不是某款产品现行额度或价格，也不能直接据此购买服务。

可以补充的例子：若总上限10，系统2、输入4、输出预留3，总计9，还有1个余量；不能只数用户可见文本。

应当停住的推论：不同服务可能另设输入、输出或缓存计费规则，正式使用需以对应版本文档与实际计数为准。

后置讲评：独立尝试结束后才展开

Q2 原句七汉字；A=[蓝色,书包,在,桌上]，ID=[11,12,15,16]，四块。默认 a-b 共五次，b-a 两次，b-c 一次；合并后 [ab,ab]、[ab,ab]、[ab,c]。注意重复行参与多次计数。

Q3 B=[蓝色,书,包,在,桌,上] 六块；A 预算 2+4+3=9，余一；B 为 11，超一。Q4 新句 A=[红色,书包,在,桌下]，ID=[21,12,15,22] 四块；B 为[红色,书,包,在,桌,下]六块。m-n 四次、n-m 一次、n-x 两次，合并后 [mn,mn]、[mn,x]、[mn,x]。按 A 的预算 2+4+3=9，超一；输出预留减一是一种可执行调整，但输出空间也减少。

Q5 以词表与规则判断，不凭主观词义；计数只算行内相邻对。Q6 下半页是在固定小材料上演示一次编码规则合并，上半页用固定表编码，均不是语言模型训练。实际预算应使用对应模型/版本分词器并考虑额外输入和输出配额。

板书、补救与课后加深

• 原文 → 固定词表与编码规则 → Token/ID。
• 行内相邻对计数 → 选最高频 → 不重叠合并。
• 额外输入 + 用户块 + 输出预留 ≤ 课堂预算。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

实际选择一个公开分词器，记录名称版本与完整输入，对比中英文、空格、网址和数字；再实现一轮BPE统计。真实工具使用与费用核对另行开展，课堂玩具结果不替代正式计数。 深化内容另计时间；先保证本课独立练习完成。

来源和实际完成范围

• AIPath 对应课：用作课序与主题对应。
• Hugging Face：Byte-Pair Encoding tokenization：核对词表学习与分词流程；本课有限词表最长匹配只是另设玩具规则。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。