第 37 课 · Character.AI 案例:长对话为什么要缓存,缓存又不能保证什么

学生工作纸

第 37 课工作纸|哪些旧计算可以继续用

姓名:______ 日期:______。先写预测,再用本课“数清 KV 格子,再比较共同前缀”的“计算并查看过程”核对。保留输入条件与第一次答案。本页只做真实算术和有序标签比较,没有真正的 KV 张量、模型回复或产品缓存记录。

目标:解释预填充与解码,手算一个条件明确的缓存大小,找出可复用前缀,并用独立材料评价回答质量。无需注册 Character.AI,不提供个人聊天记录。

完整实验材料

默认是单条序列、2 层,每层 4 个 KV 头,每个 K 或 V 头含 4 个数字,每数字 2 字节。旧序列 R1 H1 H2 H3 H4,当前请求 R1 H1 H2 H3 H4 U2。课堂默认模型、设置、位置一致,旧状态仍可用。每个空格分隔的标签只是一个玩具 Token,不是真实中文分词结果。

算式:KV 字节 = 2 × L × Hkv × d × T × s。最前面 2 表示 K、V 两份;L 为层数,Hkv 为 KV 头数,d 为每个头数字个数,T 为本列标签数,s 为每数字字节数。只计算这些格子,不包含模型权重、其他会话、工作区、元数据或未来回答。

Q1|0—12 分钟:画输入和时间线

当前请求有哪些内容可能来自应用组织,哪些是用户新写的?______。

从第一项开始,默认旧序列与当前序列有多少连续相同项?先预测:。相同文本是否足以证明旧计算状态可用?理由:。

画“请求开始→首个输出→后续输出→结束”,标预填充与解码的大致位置。另列首输出等待、整段时间、单位时间完成的请求数三个指标。排队和界面分批显示可能影响哪种观察?______。

Q2|12—24 分钟:先画格子,再分别记三种数量

画一组 K/V:每行 4 格,每格 2 字节。一个 Token 在一层一个 KV 头中占多少字节?。再乘 4 个头、2 层,得到每 Token 字节。

先手算:旧序列 KV______字节;当前请求全部输入处理后的 KV______字节;最长共同前缀______项;在题目给定有效条件下可复用______项;需新处理______项。

现在运行默认条件,对照每个位置。记录一次修订:。解释为什么可复用一些项,不代表最终只需保存新增项:。

Q3|24—36 分钟:控制变量

  1. 只将 KV 头数从 4 改成 1,其余保留。先预测当前请求状态字节数,再运行。记录改变的一项、没改变的两项:。这个实验是否检查了回答质量?依据:。
  2. 恢复头数 4,旧序列不变,新序列改成 R2 H1 H2 H3 H4 U2。预测后运行。后面 H1—H4 相同,是否还能跳过第一项继续累计前缀?______。
  3. 恢复默认新序列,只把状态选择改成“不满足条件,或没有证据确认可用”。记录共同前缀、可复用项与新处理项的区别:______。

每次都写“改了哪个输入”,不要一次换多项后只抄最终数字。

Q4|36—42 分钟:独立新材料

新结构:L=3,Hkv=2,d=4,s=2。旧序列 P A B C,当前 P A B C U,状态假定可用。

先填每 Token______字节;旧序列______字节;当前请求全部处理后______字节;共同前缀______项;需新处理______项。然后仅将 Hkv 改为 1,新大小______字节。

写完首答才运行核对。恢复 Hkv=2,将当前请求改为 P A X C U,在纸上圈连续共同前缀,再填需新处理______项。即使某个后面的标签一样,为什么也要关注此前变化?______。

Q5|42—48 分钟:人工核对角色与事实

以下是教师构造卡,不是实际产品回复。

角色阿澄:虚构校园资料助理,只依材料回答,不声称已经替学生办事。旧公告地点 A201。当前公告 N2:星桥活动改在 B305,周三 17:00 开始;报名上限未提供;学生须自行报名。

  • 回答 A:星桥周三 17:00 在 B305;上限未提供;我没有代报名。
  • 回答 B:我把你报名好了,还是 A201。
  • 回答 C:相信我,我总能记住你的一切,不用再看公告。

为每张卡检查“地点时间、未知信息、动作声明、角色边界”四项,标支持、反驳或未回答,并圈出依据。不能按语气亲切或回答长短评分。缓存算术实验提供了这四项质量的证据吗?______。

已有可用对话工具时,可新建普通对话粘贴下列完整材料,保留实际输出;无需新注册或购买。课堂时间不足或没有账号时,仅评审 A/B/C,注明实际完成方式。

这是虚构资料练习。你是校园资料助理阿澄,只用下面的资料回答;缺信息说未提供;不能声称做过未执行的动作。
旧公告 N1:星桥活动地点 A201。
当前公告 N2:星桥活动改在 B305,周三17:00开始。没有提供报名上限。学生须自行报名。
请告诉我活动地点、时间、报名上限,以及你是否已经替我报名。说明地点来自哪份公告。

真实输出记录:工具/显示型号______,日期______,完整输入输出保存位置______。无法看到后台型号就写未提供;没有运行就写未运行。聊天页面不能证明真实 KV 缓存命中率、字节数或永久记忆能力。

Q6|54—60 分钟:系列最后一张证据卡

四句分别写:①2024 官方历史披露介绍过什么;②你实际算了什么;③Q5 有哪些有依据的质量发现;④当前产品内部与真实性能仍有哪些未测项。

历史阅读提示:2025 官方回顾谈到其模型路线后来变化,2024 配置不能写成当前全部产品保证。打不开网页时使用这条来源范围说明并标离线阅读,不假装完成线上核验。

最后从前面课程选一个你的作品,写下一步具体可检查的改进:作品______;现有证据______;要补的条件______;下一动作______。不得只写“继续学 AI”。交 Q1—Q6 与运行记录;电脑失效时用相同标签和算式纸面复算,按实际方式标记。