# 第 37 课参考答案｜缓存算术与回答质量分开核验

Q4、Q5 独立尝试结束后再打开。以下字节数只适用于题目给定的玩具结构；没有实测 Character.AI 的模型、缓存或费用。预测猜错不扣分，能解释观察如何修订原判断才是重点。

## Q1：输入、计算阶段和计时指标

应用可能整理角色说明、历史或其他资料作为当前输入，用户新问题只是其中一部分。默认序列前五项连续相同；但真实复用还要考虑相同模型与设置、位置、缓存是否仍在等条件。保存聊天文本不等于保存 KV 计算状态，保存状态也不等于模型训练出了对该用户的永久记忆。

预填充处理已有输入并建立相关状态；随后逐步生成新 Token 是解码。时间线上可把预填充放在开始至首输出之前的一部分，把逐步解码放在生成阶段。首输出等待还可能含排队、准备和传输；网页逐字显示也不保证逐字等于后台逐 Token 时间。因此“首字等待”“整段完成时间”“单位时间完成请求数”要分列。吞吐提高不保证每个用户延迟下降。

## Q2：先核每一因子，再看前缀

一个 Token 在一层一个 KV 头：2 份 K/V ×4 个数×2 字节=16 字节。4 个 KV 头、2 层后每 Token 为 16×4×2=128 字节。最前面的 2 是 K 与 V 两份，s=2 才是每个数的字节；两者含义不同。

旧序列 5 项，大小 640 字节；当前请求 6 项，全部处理后为 768 字节。连续前五项相同，在题目假定旧状态可用的条件下复用 5 项，新处理 1 项。页面只是比较身份标签与计算大小，没有真正求 K/V 数值。

复用并不表示旧状态从所需上下文里消失。计算可利用已有状态，状态本身仍需要保存或取得，后续还可能访问。最终当前六项的估算仍为 768 字节；它不包括未来输出、模型权重、工作区或其他会话。不能把 5/6 直接写成费用节省率，也不能把 1/6 写成实际运行内存比例。

## Q3：三种改动分别发生了什么

只将 Hkv 从 4 改为 1：每 Token 32 字节，旧序列 160，当前请求 192。当前是原 768 的四分之一；层数、每头数字数、每数字字节数、标签长度均不变。这个玩具只变化 KV 头数，不能解释为所有查询头都删成一个；更没有测量生成质量或保证任意模型都能直接改结构运行。多查询注意力的基本思路可参照[原始论文](https://arxiv.org/abs/1911.02150)。

恢复 Hkv=4，将当前首标签改为 R2：最长共同前缀 0，可复用 0，新处理 6。后面 H1—H4 相同也不能跨过首个断点当作连续前缀。实际因果模型的后续状态可能受改过的前文影响，页面用顺序标签规则演示这一要求，没有计算真实状态。

恢复默认标签但把状态选成不可用或未确认：最长共同前缀仍为 5，但可复用按 0，新处理 6。第一个改动是输入不同，第二个改动是状态条件不满足；这两者都不能直接称“角色忘记了”。未知有效性不能为了漂亮的数字改成已确认。

## Q4：新结构与中途改动

每 Token 为 2×3×2×4×2=96 字节。旧四项为 384 字节；当前五项为 480 字节。共同前缀为 P、A、B、C，共 4 项；状态可用时新处理 U 一项。只将 Hkv 改为 1 后，每 Token 48，当前五项 240 字节。

恢复 Hkv=2，当前变为 P、A、X、C、U。只有 P、A 是连续相同前缀，共 2 项；新处理 3 项。C 虽在相同位置再次出现，但已越过 B→X 的改动，不能在前缀检查里接回。当前总长度仍五项，所以全部处理后的 KV 大小仍 480；“大小相同”不代表“可复用范围相同”。若学生只有大小答对，需要补查逐位置解释。

## Q5：每项评价都有材料依据

|回答|核对结果|依据|
|---|---|---|
|A|地点时间正确，未知保留，没有冒认代办，符合资料助理边界|N2 给 B305、周三17:00；未提供上限，需自行报名|
|B|地点沿用旧版；报名声明缺少实际执行证据；没有给出完整时间与上限信息|N2 已改地点；材料没有授权或成功动作日志|
|C|没有完成地点时间与上限问题；永久记忆与无须核查的承诺超出材料|公告只支持活动事实，不能支持永久记忆保证|

只凭 B 的文字，不能进一步断言确实发生了未经授权报名；当前证据支持的是错误或无依据的动作自述。A 在给定四项任务里合格，不等于广泛测过所有角色一致性或安全问题。C 不能按语气温柔判高质量，本题查的是事实、未知与行动边界。

真实工具可能给不同表述，应按同一标准查看地点、时间、上限、是否声称代办和公告来源。允许礼貌扩写，但不能补造事实；不得以是否逐字等于 A 为判定。保存完整输入输出和日期，型号不可见则写未知；没有实际调用时记人工构造材料评审。无论真实回答是否通过，都不能从聊天界面推导后台使用哪种 KV 技术。

## Q6：来源与结论范围

合格说明应体现：2024 年官方技术文章披露了一组用于当时系统的推理优化路线；本课真正执行的是玩具字节公式与标签前缀比较；质量结果来自三张构造卡或另外保留的真实小测；真实生产缓存、延迟、成本与当前所有型号配置没有由这些活动测得。[2024 年技术文](https://blog.character.ai/optimizing-ai-inference-at-character-ai-2/)与[2025 年历史回顾](https://blog.character.ai/inside-kaiju-building-conversational-models-at-scale/)应分别注明时间，不把历史设计写成永远有效的当前配置。

可接受的后续动作示例：“我的知识库问答有三条回答引用旧公告；下一次用固定的地点变更题，保留检索片段与输出，分别查版本过滤和引用。”这比“继续提高智能水平”更容易检查。能力整理依据学生自己的作品和行为记录，不得由这节作业直接推断固定天赋、心理特征或应选专业。

## 10 分评分

- Q1 1 分：输入与两个阶段基本清楚，指标没有全部混成速度。
- Q2 2 分：格子与字节公式 1 分；空间和新处理项分开 1 分。
- Q3 2 分：头数对照条件与边界 1 分；输入变化和状态未确认分开 1 分。
- Q4 2 分：新大小算式 1 分；中途改变的连续前缀与新处理量 1 分。
- Q5 2 分：事实与未知核查 1 分；动作自述、角色承诺和实际证据分开 1 分。
- Q6 1 分：历史来源、实际活动、未测范围和下一动作清楚。

学生可以先算错再修订；保留观察与原因比抄标准答案重要。只报告页面数值却不能指出每个因子、或把人工卡片称作产品实测，应先补做范围说明。该分数是本课作业反馈，不能替代真实任务的长期评价。