第 11 课 · 同一句话为什么会被数成不同长度?

学生工作纸

第 11 课学生工作纸|同一句话为什么会被数成不同长度?

本课问题:字符数没变,词表与切分规则怎样改变 Token 计数和预算?

先填预测,运行后另写观察,不擦掉猜错的记录。课程原始材料和程序均为教学小例子。把本页与课堂实验并排打开,答案页在独立练习结束后再使用。

任务与记录

Q1—Q2|0—20 分钟

原句“蓝色书包在桌上”。A 表:蓝色11、书包12、书13、包14、在15、桌上16、桌17、上18;从左至右最长匹配。Q1 数字数与预测块数。Q2 手切并写 ID,再运行。合并语料为 a b a b 两行、a b c 一行,仅计每行内部相邻对,手算次数。

Q3|20—36 分钟

B 表删除书包、桌上、桌下组合,其他沿用。只换词表对照块数。预算规则上限10,额外输入2,输出预留3;分别核对 A/B 占用。解释词表合并与语言模型训练是否相同。

Q4|36—48 分钟,独立

新句“红色书包在桌下”,补充红色21、桌下22、下23,其余沿用;分别用 A/B 编码。语料换为 m n m n 一行、m n x 两行;统计相邻对并合并一次。预算上限8、额外输入2、按 A 的用户块数、输出预留3,计算并提出调整。

Q5—Q6|48—60 分钟

Q5 按规则核对一处最长匹配和一个频数。Q6 区分词表形成、编码与语言模型参数训练;说明实际模型预算需找什么工具或说明,不能用本页直接报价。

运行记录格式

每一轮记录:题号/输入框全部值/点击“计算并查看过程”前的预测/一个中间计算/实际结果/哪一条猜测要修订。为了判断原因,一轮只改一个指定条件;题目要求整组新材料时,先写清这是新实验。

遇到页面无法运行:使用本页相同的输入、步骤与判定规则在纸上完成,必要时用普通计算器。保留预测、中间量和最后核对,注明实际完成的是纸面复算。没有外部 AI 调用,不把这项工作说成已经得到某个产品的真实效果。

离堂提交

提交工作纸和一份运行观察。预测错不扣分;过程和复核依据要写清。自己无法解释的部分用问号标出,方便下一课继续追问。