第 36 课工作纸|挑专家,也要算清楚账
姓名:______ 日期:______。60 分钟。先记录预测,再点击本课“四个专家与一张费用台账”的“计算并查看过程”。保留第一版,用修订栏解释改变。页面在本地排序与做算术,没有调用 DeepSeek,也没有训练模型。
本课结束应能说明总参数与激活参数为什么不同,手算一次专家混合,并把一个成本说法改成有范围的研究记录。需要会加减乘除;可以用计算器,不需要付费账号。
完整材料
| 专家 | 参数单位 | 默认路由分数 | 固定演示输出 |
|---|---|---|---|
| E1 | 100 | 4 | 10 |
| E2 | 100 | 3 | 20 |
| E3 | 100 | 2 | 30 |
| E4 | 100 | 1 | 40 |
另外有每次都使用的共享及其他参数 100 单位。默认选两个专家,分数越高越先选,同分按编号小的先选。入选分数除以入选分数总和,得到各自权重;固定输出乘各自权重再相加。没有模拟共享网络的输出。真实专家不是固定输出卡,路由分数也通常由模型产生。
费用卡:4 块 GPU,每块 12 小时,每 GPU 小时按虚构价格 3 单位计,已知其他费用 35 单位;探索成本未知。这些不是现实报价。只改专家数不会自动改变费用卡上的小时数。
Q1|0—6 分钟:先判断一句话
待审句:“每次只用一部分参数,所以整个模型只需保存这一部分权重。”
我的首答:。圈出这句话连接的两个不同对象:。
把四张专家卡都放桌上,只翻转两张;另外两张目前是否参加?是否从模型里消失?如果提出从硬盘按需搬运,还需要检查什么?写出带条件的修订,不只写对错:______。
Q2|6—18 分钟:先排序,再分别算两张账
运行前填写:入选专家______;入选分数总和______;两个权重______;加权贡献______;玩具混合输出______。
总参数算式______;本轮激活参数算式______;激活比例______。请在两个算式里分别圈出“每次都使用的部分”。
现在运行默认值,记录实际页面值,并解释你修订的是排序、分母、加权还是参数范围:______。
提醒:混合输出数值大不等于现实任务质量好。这个数字没有真实任务评分标准。
Q3|18—36 分钟:一次只变一个条件
- 保持其余默认值,将“每次选用几个专家”改为 1。先预测总参数、激活参数、混合输出,再运行。哪个量没变,为什么?______。
- 恢复选 2 个,仅把路由分数改为
1,2,5,2。先按同分规则选,再运行。参与数不变时混合结果一定不变吗?用记录回答:______。 - 在三张开销卡“专家计算/历史注意力状态/数字存储和计算精度”旁分别放 MoE、MLA、低精度。再给“减少等待与搬运”写一个训练调度的解释,不要求背公式:______。
- 用默认费用卡算 GPU 小时、该次 GPU 费用、已知小计。探索成本这一格怎样填,为什么?这些数字能称全部研发成本吗?______。
Q4|36—42 分钟:独立换一套数据
四个专家改为每个 120 参数单位,每次都使用部分改为 60,选 3 个,路由分数 1,1,1,1。E1—E4 固定输出仍为 10、20、30、40。费用为 2 块 GPU,各 5 小时,每 GPU 小时 4 单位,已知其他费用 7;失败试验成本未知。
先独立写:选中的专家______;权重______;混合输出______;总参数______;激活参数______;激活比例______;GPU 小时______;已知费用小计______;未知项______。
写完再把各项新条件输入页面,运行核对。保留“首答—程序结果—修订原因”三列,不能把老师投影结果当成你的首答。
Q5|42—48 分钟:改写三条过强结论
逐条填“从什么跳到什么/缺什么证据/应继续问什么”,不只在原句前加“可能”。
| 原句 | 跳跃 | 缺的证据与下一问 |
|---|---|---|
| 激活约占四成,所以只要四成显存。 | ______ | ______ |
| 某次正式训练 GPU 费用较低,所以全部研发费用也较低。 | ______ | ______ |
| 网页回答很快,所以已验证 MLA 是唯一原因。 | ______ | ______ |
来源范围卡:V3 技术报告用于了解特定版本的 MoE、MLA、训练精度和系统路线;R1 论文用于了解推理后训练,且 R1-Zero 与 R1 的安排不同。这不是当前网页服务型号说明。
有网络时打开 V3 报告 v2 或 R1 论文 v1,记录标题、版本、节名和一条自己的概括。无法打开就使用上面的范围卡,注明“离线来源卡阅读,未亲自核对全文”;不要填在线已核对。无需问聊天机器人它自己的硬件成本,也不需要下载模型。
Q6|54—60 分钟:交一张能回查的研究卡
四栏各写一句完整的话:①公开版本和来源;②来源支持的一个机制及对应开销;③你今天真正复算了什么;④还没验证什么。最后回答:如果只给你“更便宜”的结论,你要先追问哪两个条件?______。
交付:Q1—Q6 工作纸、默认与独立条件的运行记录或纸面计算记录、一张研究卡。电脑不能运行时用同一材料纸面复算,并在记录上注明。预测猜错不扣分;中间过程、依据和如实修订是本课的学习证据。