# 第 36 课参考答案｜独立练习结束后使用

答案适用于本课给定的玩具材料，不能据此报告实际 DeepSeek 路由或服务成本。学生可保留分数形式，页面显示最多四位小数；写清相同算式比小数尾数完全一致更重要。Q1 的首次猜测不计对错分，应保留并解释修订。

## Q1：没有参与，不等于不属于模型

原句由“一次计算参与了多少参数”跳到“整个模型必须保存多少权重”。四张专家卡都属于模型，本轮只使用选中的卡。其余权重仍要有存储和可访问安排；可以分布、卸载或按需搬运，但应另查搬运、延迟、硬件和实现条件。不能进一步说必须全部常驻同一块 GPU，课堂没有给这种部署约束。

合格修订示例：“这次只激活部分专家，所以专家计算具有稀疏性；全体权重仍属模型，实际显存需结合部署和运行开销测量。”只写“错，因为参数很多”没有说明两个口径。

## Q2：路由、混合、参数账是三个不同步骤

4、3、2、1 中选 E1、E2。选中分数和为 7，权重为 4/7、3/7，贡献分别为 40/7、60/7，总和 100/7≈14.2857。若使用 0.4 与 0.3，未按本课规则对入选者重新归一化；若直接得 30，则遗漏加权。

全部参数为 4×100+100=500；本轮激活为 2×100+100=300；比例 300/500=60%。两个算式都包含共享及其他参数 100。把比例写成 2/4=50% 忽略这项。这里没有计算真实模型的注意力、共享输出和完整文本生成；混合数大或小都没有直接的任务质量含义。

页面表格列出全部卡的固定输出是为了核验材料；未选专家本轮贡献为 0，不应据此声称四个网络都实际运行。

## Q3：控制改动才能解释比较

选 1 个时只有 E1，权重 1，混合输出 10；总参数仍 500，激活为 100+100=200，占 40%。固定模型的全体卡没变，所以总数不变。费用也仍是旧费用输入的计算，不能把 60%→40% 自动写成耗时下降三分之一。

恢复选 2，仅将分数改为 1、2、5、2，选 E3、E2。E2 与 E4 同分，编号小的优先。权重为 5/7、2/7，结果为 30×5/7+20×2/7=190/7≈27.1429。激活仍 300，总数仍 500。这显示路由对象改变会影响演示结果，同一激活量不能保证同一输出。

MoE 对应按输入选择专家计算；MLA 对应注意力历史状态的压缩路线；低精度对应数值表示、存储和运算条件。训练调度还可能减少通信或等待。它们不是同一个比例的三个名字，真实收益要保留实现、硬件与质量条件。

GPU 小时 4×12=48；该次 GPU 费用 48×3=144；已知费用小计 144+35=179。探索成本写“未知，未计入”，不能写 0，也不能称总研发成本 179。正式训练消耗、研发全部投入和对外售价范围不同。

## Q4：独立题逐项核对

同分按编号选 E1、E2、E3，权重各 1/3，混合输出 (10+20+30)/3=20。总参数 4×120+60=540；激活参数 3×120+60=420；比例 420/540=7/9≈77.7778%。写 75% 的学生只算了专家比例，应回补每次都使用的 60。

GPU 小时 2×5=10；该次 GPU 费用 10×4=40；已知其他费用加 7，已知小计为 47。失败试验成本仍未知。不能把相同输出 20 当成四个专家都被选中的证据：默认分数选全体专家也可碰巧得到 20，过程必须看选择表。

独立计算后运行得到一致值是指定算例核验；不等于已经在真实模型上复现同一机制、成本或性能。若未运行，准确记录纸面复算即可，不能编运行记录。

## Q5：需要补齐哪种证据

第一句混淆激活比例与实际显存。需查全体权重的存储位置、数值精度、缓存、工作区与部署方式；下一问可为“这个型号在指定上下文与并发条件下实际占用多少显存？”不能只用激活参数乘一个字节数下保证。

第二句混淆单次正式训练 GPU 费用与全部研发。需明确是否包括前期试验、数据、人力等范围，并统一比较对象。下一问可为“两份数字包含的项目、价格假设和模型质量条件一致吗？”

第三句把观察到的速度归因为一个内部机制。需知道实际型号、设置、输入输出长度以及可以分离因素的对照；排队、缓存和硬件也可能影响等待。仅网页体验不能证明当前后台一定是某架构，更不能证明 MLA 是唯一原因。

读论文的合格记录包括版本和可定位节名，用自己的话表述一项支持内容；离线范围卡阅读必须按实际方式标记。不能把 R1 的推理后训练路线、V3 的正式训练报告和当前应用页面全部写成一个版本。相关范围依据 [V3 v2](https://arxiv.org/html/2412.19437v2) 与 [R1 v1](https://arxiv.org/html/2501.12948v1)。

## Q6：合格研究卡示例

“我阅读的是指定版本的 V3 技术报告来源说明。该报告讨论了稀疏专家、注意力状态及训练效率；我今天实际复算的是四张原创专家卡的排序和参数账、虚构 GPU 小时费用。没有实测产品的响应、显存或总研发投入。要判断某方案更便宜，先统一任务质量、费用范围和运行条件。”允许不同表述，但四栏应各有所指。若学生已亲自读原文，应填写实际定位信息；不能照抄示例声称未做过的阅读。

## 10 分评分

- Q1 1 分：指出使用与保存范围的差别，能作有条件修订。
- Q2 2 分：入选者与权重过程 1 分，包含共享项的两种参数数目及比例 1 分。
- Q3 2 分：单条件对照有记录 1 分；开销定位和未知费用处理 1 分。
- Q4 3 分：选择及混合 1 分，参数与比例 1 分，费用和未知项 1 分。
- Q5 1 分：三条至少明确指出各自缺证据，不能只改语气。
- Q6 1 分：来源、玩具复算和未验证范围分开记录。

预测猜错不扣分；程序运行出数字却不能指出输入依据，不视为掌握。教师可针对错误所在环节补练。此评分只描述本课作业，不给学生贴普遍能力等级。