第 15 课 · LLM 是怎么炼成的
模型规模与测量:多花资源究竟换来什么
预算相同时,哪种配置更适合指定任务,评分方式为什么会改变看起来的进步?
学完这一课,你能做到什么
- 用本课材料解释:预算相同时,哪种配置更适合指定任务,评分方式为什么会改变看起来的进步?
- 独立改变一个条件,记录输入、中间证据与结果的变化
- 完成新材料练习,区分已有证据、推断与尚未执行的动作
网站对应:Scaling Laws 与涌现:大力出奇迹。按网站显示顺序编为第 15 课。
先预测 · 操作材料 · 改变条件
同预算选方案与评分尺子
X为N2、D12、损失1.6、短题6/10、长题4/10;Y为N4、D6、损失1.5、短题5/10、长题7/10;Z为N8、D3、损失1.7、短题6/10、长题5/10。小中大系统四题的正确步骤数分别2/2/1/3、3/3/2/3、4/4/3/4。
本地真实预算与评分计算;数据为原创教学数据,非产品跑分
- 先在Q0留下预测,再运行默认条件。
- 先手算X的预算2×12,再算小系统已完成步骤2+2+1+3,占四题共16步多少。
- 保持预算24,把比较指标由平均损失改成长题,再改成短题;原始步骤记录不动,把部分分改成整题全对。
- 记录输入、中间过程和结果;真实工具输出另存原文。
先记录你的预测,再点击运行。每次结果都由本课程序根据当前输入生成。
本次过程与结果
对照上一次运行结果
留下自己的解释
文字只保留在当前页面,离开前可导出;工作纸还有本课的具体记录题。
教师可以怎样一步步讲
完整教师讲稿
第15课教师讲稿|模型规模与测量:多花资源究竟换来什么
60分钟,v6完整课程新版。 对应网站原课《Scaling Laws 与涌现:大力出奇迹》。按网站主题顺序,以先预测、看见过程、实际操作、独立完成为课堂主线,旧版保留。
本课只追一个问题
预算相同时,哪种配置更适合指定任务,评分方式为什么会改变看起来的进步?
学生留下三项成果:用材料解释问题;改变一个条件并保存变化;在新材料上独立核对结论。教师不以术语代替成果,也不把界面出现结果当成理解。
课前准备与投影安排
先打开实验,检查标题“同预算选方案与评分尺子”与按钮“计算并查看过程”。输入区默认材料应与下面一致。教师先运行一遍并对照答案,随后恢复默认值;上课先投影输入区,学生完成预测后再展示输出,独立期间不展开答案文件。
实验性质:本地真实预算与评分计算;数据为原创教学数据,非产品跑分。教师原样读出,让学生知道究竟做过什么。浏览器过程能复算,不等于现实服务接受请求、模型完成训练、论文系统被复现或学习效果得到验证。
准备学生工作纸、参考答案和可保存文字的本地文档。每人建“原先预测、实际观察、依据、修订”四栏,预测不得覆盖。电脑出错可同桌共用,轮流操作者和核查者,两人分别交记录。完全不能运行则用同一材料手算或卡片重放,注明人工后备,不冒称已运行。
可直接使用的材料
X为N2、D12、损失1.6、短题6/10、长题4/10;Y为N4、D6、损失1.5、短题5/10、长题7/10;Z为N8、D3、损失1.7、短题6/10、长题5/10。小中大系统四题的正确步骤数分别2/2/1/3、3/3/2/3、4/4/3/4。
以下数字、文档与输出均为本课程原创教学样例,不是真实产品测试或学生资料。 配置A:N2,D8,损失1.7,任务4/10;B:N4,D4,损失1.9,任务5/10;C:N8,D2,损失2.2,任务3/10。另一独立评分示例:四道题每道4步骤,小2/2/1/3,中3/3/2/3,大4/4/3/4。
板书不一次写满
左边写原始材料与问题,中间分“输入/动作/中间证据”,右边留“能说什么/还不能说什么”。换材料先擦掉上一题结论,保留方法。公式、数字或字段出现前,先用材料说明它指什么。学生只答术语时,请他回到原文、计算或状态,教师据此判断是否需要停留。
0—5分钟:先提出一个会花错钱的问题
“你看到模型名字后面写着更大的数字,会直接认为它更适合自己的任务吗?”请学生先替一个要核对讲座通知的人写购买标准,不给产品名。有人会说越大越准,教师把‘大’和‘准’分别圈起来:大指参数数量、训练数据还是花费?准是每一步还是整份报告?今天用可计算的表格拆开这些说法,不评判某个真实产品。最终要拿走的能力是为一个明确任务选择比较方法,而不是背诵规模律口号。
5—11分钟:三份投入不是一个旋钮
“把模型参数想成可调的部件数量,把训练数据想成训练中接触的材料,把计算量想成进行调整所花的计算工作。”马上补充这个比喻只帮我们区分问题,参数不是逐条储存的知识句子,更多数据也不自动代表更好数据。让学生给三列分别写一个问题:能调多少、看了多少、算了多少。课堂把N×D当预算指数,方便比较配置;真实训练还受模型结构、序列长度和硬件效率影响,不能拿指数兑换人民币。
11—17分钟:先确认站在同一条起跑线
读出X、Y、Z的N与D,只让学生算三次乘法,暂时遮住成绩。“如果一边预算高很多,直接把成绩差归因于参数多,就混入了资源差异。”让学生用两个不同分解表示24,理解同一乘积也可以有不同配置。再解释损失这一列是模型预测误差的一种平均衡量,在本例越低越好;不展开交叉熵推导,也不把它读成错题数量。任务正确数是另一把尺子,必须看它针对哪组题。
17—24分钟:实际选择一个候选并保留条件
按默认平均损失运行后,让学生先找三配置是否进入预算,再找比较方向。“页面显示候选,不等于全能冠军。请完整读成:在这份原创数据、预算不超过24、以平均损失最低为标准时……”随后请同桌把指标改成长题,说明这次需要的列。若程序给出的候选相同,也不能跳过条件描述;两个指标恰好指向同一配置只是这份表的结果。要求记录值而不只抄字母。
24—31分钟:让短题任务暴露并列
“现在只改比较指标,不改变任何成绩。短题中有没有两项一样高?”如果学生执意选参数最大的Z,追问依据是哪一列;若是并列,说明并列还缺实际速度、费用、稳定性等信息。教师不要代学生填一个虚构价格来破局。再把预算改到23,观察没有候选的结果。空结果是问题条件产生的有效信息;程序不应该为了必须推荐一个而自动越过预算。
31—37分钟:看似突然出现的能力与评分门槛
展示每题有四步、小中大三组步骤记录。“如果整题四步都对才给分,做对三步仍记零。这不是说它前三步没进步,而是这把尺子没有给部分分。”先手算小系统,再运行两种评分并列保存。学生会看到部分分持续上升,整题分数在后面跳起。说清这只证明评分方式能影响形状,不足以解决所有关于涌现的研究争论;真实新能力还需要更多任务、控制条件和测量证据。
37—49分钟:独立从需求反推指标
发放独立表格后,要求分别给损失、长题、短题写候选,并写两项仍需核实的现实条件。教师只提示‘每个指标的好方向是什么’‘有没有并列’,不提前报Y或X/Z。补一个文字要求:向准备选工具的同学写一段不超过100字的建议,必须包含比较对象、任务和限制。若学生只写大模型好,让他指出表中哪一个短题数字能够支撑这句话。
49—55分钟:讲评控制结论的范围
先比较不同同学使用的句式,而不仅是字母答案。“在给定长题上较好”和“整体最聪明”不是同一个结论。逐项核算预算与并列,再回到小中大四题记录,指出全对率的分母是四题,部分分的分母是十六步。有人将11除以4时,不直接报正确百分比,让他先读出11的单位。把‘数据单位要与分母一致’写在板书右下角,以后所有模型评测都要复用。
55—58分钟:迁移到真实选择时先建立小测试集
“下一次比较两个可用工具,先准备同样的几道真实工作题,例如日期提取、依据原文回答和表格整理,再保存原始输入与输出。”同样的题并不保证完全公平,还需记录版本、参数、时间和重复次数。今天没有执行真实产品测评,因此不给产品冠军榜。让学生把一个自己的任务改写成可检查问题,写一个必须满足的条件和一个可接受的权衡,如宁愿慢一点也不能丢失引用。
58—60分钟:离堂留下可复用的判断句
请完成‘如果有人说规模更大就一定更适合我,我首先要问……’并用本课表中一对数值作例证。要求写出指标和任务,避免只写看情况。最后让学生在观察记录里标注原创数据,防止以后复制到报告时误当行业跑分。扩展学生可设计第四种配置,但必须明确它是假设并检验是否在预算内,不能把自编好成绩充作实验结果。
课后备课参考:把演示中的每一步讲完整
用于教师备课与独立任务结束后复核,不在预测前投影。
核预算指数
本步结果:2×8=4×4=8×2=16。原因:只控制玩具预算,实际成本还需更多条件。
比较损失与任务
本步结果:损失A最好,任务B最好。原因:两个指标不等同。
计算全题正确率
本步结果:小0/4,中0/4,大3/4。原因:全对才给分产生门槛。
计算步骤部分分
本步结果:小8/16=50%,中11/16=68.75%,大15/16=93.75%。原因:原始步骤表现一直变化。
写有限结论
本步结果:测量方式影响曲线,不能由此决定全部涌现争论。原因:保留例子范围与原始数据。
常见误解与追问
学生可能说:“参数更大就所有任务更强”
核对与修订:需要同条件、多任务和成本证据。
学生可能说:“规模律保证大投入必然有回报”
核对与修订:它是实验条件内的经验关系,外推有不确定性。
学生可能说:“涌现已经全部被证明是评分幻觉”
核对与修订:指标解释了部分现象,但不能据一个演示解决所有研究问题。
独立题讲评完整参考
先收取Q3原稿,再使用:预算均24。损失Y最低;给定长题Y为7/10最高;短题X与Z均6/10并列高于Y。没有唯一全指标领先者;仍需更多测试样本、任务分布、实际推理成本/速度、重复测试等,不把虚构指标当产品数据。
迁移参考:两版全对率都0/3,但步骤得分由5/9升6/9;可观察到部分进步,仍不能由该小例证明广泛能力提升。
时间不够与课后扩展
60分钟优先保证完整默认过程、控制条件变化、独立任务与离堂解释。较慢时缩短分享人数,保留每人独立判断,不用教师答案替代学生操作。延伸:读取指定规模律论文的一个图,标实验条件、坐标、拟合与外推;可选用少量点拟合趋势,不能由拟合直接承诺产品能力。扩展不计入60分钟,不作为没有编程或额外账号学生的必交要求。
教师的概念核验备课卡
下列定义沿用已经核对的v5概念材料,供备课时校准术语;课堂先按上面的新实验与通俗讲解展开,不要求学生抄定义。
三个量回答不同问题
参数数量描述模型中可学习数值的规模,训练数据量描述训练接触的信息,计算量描述完成训练所投入的运算。三者有关却不是同一个量:扩大模型而不给足数据,或增加数据却改变训练设置,都会让比较失去清楚含义。课堂用简化预算指数N乘D帮助看出资源分配,但真正训练成本还受结构、序列、优化和硬件等因素影响,不能直接拿这个玩具乘积报价。
结合材料:A的N=2、D=8,B为4、4,C为8、2;简化预算都为16。
适用边界:相同玩具预算不等于真实GPU小时、金钱或能耗完全相同。
规模律是有条件的经验关系
规模律来自在明确训练条件下做不同规模实验,再观察平均损失怎样随参数、数据或计算变化。它有助于估计投入与结果,但仍依赖实验范围和其他条件,外推得越远越需要验证。这里应看懂“同一组假设下趋势较规律”,而不是学习一个保证回报的口号。降低平均损失与获得某种实际能力之间还隔着任务定义和测量,不能把投资金额直接兑换成学习成果。
结合材料:示意表中A平均损失1.7、B1.9、C2.2;只说明所给配置下A在该损失指标更低。
适用边界:不是宇宙定律或无限外推保证,也不推出必然出现意识或AGI。
固定预算中的配置取舍
如果预算有限,问题不是单独把参数做最大,而是怎样分配模型大小、训练数据、训练时长和其他资源。不同研究得到的最佳分配依数据和目标而变,之后的使用频率和推理成本也可能改变选择。让学生比较多个同预算点,可以理解为什么必须给出条件。某研究中的经验比例可以作为研究结果认识,却不能不看训练配方和部署需求就当作所有模型的固定营养表。
结合材料:A、B、C预算指数相同,但损失与具体任务得分不同,因此需说明选择要优化什么。
适用边界:本课不让学生背每参数必须固定配多少Token的万能规则。
平均指标与具体能力
平均损失把大量预测压成一个值;具体任务还会要求事实准确、长链推理、格式或工具执行。平均更好并不保证每个子任务都更好,所以模型比较至少写清测试任务、样本和评分方式。最好同时展示几个有差异的结果,而不是拿一张总榜替代自己要做的事。小样本的高低只是观察,不能据此判定所有同类任务的真实排序。
结合材料:A损失1.7但任务4/10,B损失1.9但同任务5/10;两个指标排序不同。
适用边界:不把10题小测称为整体智能排行,也不把损失当人类理解程度分。
涌现与测量方式
某些能力曲线看起来突然跳升,可能与真实行为变化、样本难度和评分的非线性共同有关。若一道题必须所有步骤正确才给分,逐步改善在跨过门槛前可能一直显示零;改用部分得分则能看到更细变化。这个例子帮助检查测量,不证明所有涌现都只是幻觉。面对强结论,应回看原始输出、连续指标、任务定义和不确定性,保留研究争论的范围。
结合材料:四道四步题:小模型各对2、2、1、3步;中模型3、3、2、3;大模型4、4、3、4。
适用边界:评分示例不是任何真实模型实验,不能由曲线跳变推断意识。
实验实现与易混细节的进一步讲解
教师要把三类图像想象区分开:一条投入资源与平均损失的研究曲线、一张具体任务成绩表、一组评分方法的比较。它们回答的问题不同,不能随手连成“花钱多,所以这题必对”。本页只有后两种原创数据计算,没有拟合规模律曲线。学生若要求推算真实训练成本,可指出当前没有硬件、序列长度、训练步数与效率数据,预算指数无法完成这个换算。
N从2变到8而D相应减少,乘积仍相同,这个例子主要让学生看到资源配置也会影响结果。X、Y、Z没有谁在所有指标上严格领先。选Y做长题有给定数值依据,但将它改写成一定适合所有长报告仍超出这十道题的范围。请学生尝试给自己的建议加一句“我还需要用什么任务补测”,让选择结果变成有条件的决定。
评分门槛可以用一道四步操作题说明:找文件、读数据、核对单位、输出表格。做对前三步与四步全对,在可交付任务上可能确实不同,所以全对评分并非错误;部分分则帮助老师看见进步发生在哪里。两把尺子都有用途,问题在于把一种尺子的跳跃解释成所有能力突然从无到有。原始步骤记录必须保留,才有机会换一种方法复查。
如需课后扩展,学生可把四题每步从0到1记成网格,再提出一个加权评分方案。权重由任务的重要性决定并需说明理由,而不是为了让自己喜欢的系统排名第一。修改评分后应重新算全部对象,用相同标准比较,不能一边用全对、一边用部分分。实际产品名称和当下价格不进入本表,避免教学数据被误用为购买依据。
课堂口头演练:让误解能被具体观察纠正
学生说:“既然低损失最好,我就永远看损失。”教师让他把当前工作改成在给定长题上尽量答对:“现在你实际想优化的交付是什么?哪列直接记录这个任务?”损失是有用研究指标,但任务成功可能受不同因素影响。请学生分别写一条研究比较与一条实际选用建议,让两条句子各自带明确目标。
学生说:“小与中都是零分,所以中没有进步。”教师打开步骤记录:“请看第三题,从一步变两步发生了吗?这把整题评分尺子没有给它分,不代表原始过程没变。”然后让学生再说明为什么某个实际流程仍可能必须四步全对才可交付。这样既不否定进步,也不把部分正确误当成任务完成。
学生问:“能否自编一张更大系统全对的表证明趋势?”教师说:“你可以把它当假设用来练计分,但自编结果不能证明真实趋势。请在表头写原创假设,并另列实际验证需要的数据。”课堂交付的最后检查是所有数值都有身份:材料给定、学生算出、真实测得或尚待测试,不能在传播时混用。
评分表必须保留小中大标签只是材料中的规模示意,不是现实产品型号。课堂展示避免贴真实厂商品牌标志,以免误认成绩来自官方报告。课后引用时标题写原创课堂评分案例,并保留四道题的步骤记录。
来源与边界
AIPath对应课提供主题定位。以下用于核对定义和研究范围,课堂数字、活动、房间、轨迹都是原创练习,不是产品性能数据。
- Scaling Laws for Neural Language Models:核对规模与平均损失的经验关系及研究范围。
- Training Compute-Optimal Large Language Models:核对给定计算预算下参数和训练数据配置问题,不推广固定万能比例。
- Are Emergent Abilities of Large Language Models a Mirage?:说明指标可影响观察到的跳变;不将全部涌现争论视为已解决。
实际检查以QA为准;尚未真人试教,课堂节奏根据学生表现调整。
60 分钟安排
每行给出具体讲解、学生动作和可检查的结果。根据学生反应调整,尚未真人计时试教。
| 时间 | 教师讲解与操作 | 学生动作 | 检查依据 |
|---|---|---|---|
| 00:00— 01:00 | 引导并检查:写大模型更好的原先判断。 | 完成“写大模型更好的原先判断”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:写大模型更好的原先判断。记录应与当前材料、当前输入或实际返回一致。 |
| 01:00— 02:00 | 引导并检查:区分大指什么量。 | 完成“区分大指什么量”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:区分大指什么量。记录应与当前材料、当前输入或实际返回一致。 |
| 02:00— 03:00 | 引导并检查:写自己的任务质量标准。 | 完成“写自己的任务质量标准”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:写自己的任务质量标准。记录应与当前材料、当前输入或实际返回一致。 |
| 03:00— 04:00 | 引导并检查:说明原创数据非产品成绩。 | 完成“说明原创数据非产品成绩”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:说明原创数据非产品成绩。记录应与当前材料、当前输入或实际返回一致。 |
| 04:00— 05:00 | 引导并检查:预测同预算是否同效果。 | 完成“预测同预算是否同效果”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:预测同预算是否同效果。记录应与当前材料、当前输入或实际返回一致。 |
| 05:00— 06:00 | 引导并检查:把N解释为参数规模标签。 | 完成“把N解释为参数规模标签”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:把N解释为参数规模标签。记录应与当前材料、当前输入或实际返回一致。 |
| 06:00— 07:00 | 引导并检查:把D解释为训练数据规模标签。 | 完成“把D解释为训练数据规模标签”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:把D解释为训练数据规模标签。记录应与当前材料、当前输入或实际返回一致。 |
| 07:00— 08:00 | 引导并检查:区分训练计算与推理成本。 | 完成“区分训练计算与推理成本”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:区分训练计算与推理成本。记录应与当前材料、当前输入或实际返回一致。 |
| 08:00— 09:00 | 引导并检查:写预算指数不是实际费用。 | 完成“写预算指数不是实际费用”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:写预算指数不是实际费用。记录应与当前材料、当前输入或实际返回一致。 |
| 09:00— 10:00 | 引导并检查:读损失越低越好。 | 完成“读损失越低越好”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:读损失越低越好。记录应与当前材料、当前输入或实际返回一致。 |
| 10:00— 11:00 | 引导并检查:区分损失与十道题正确数。 | 完成“区分损失与十道题正确数”,把结果写入Q0,需要计算时保留中间一步,需要来源时写编号。 | Q0中可核查:区分损失与十道题正确数。记录应与当前材料、当前输入或实际返回一致。 |
| 11:00— 12:00 | 引导并检查:手算X的N乘D。 | 完成“手算X的N乘D”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:手算X的N乘D。记录应与当前材料、当前输入或实际返回一致。 |
| 12:00— 13:00 | 引导并检查:手算Y与Z预算。 | 完成“手算Y与Z预算”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:手算Y与Z预算。记录应与当前材料、当前输入或实际返回一致。 |
| 13:00— 14:00 | 引导并检查:比较三个乘积。 | 完成“比较三个乘积”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:比较三个乘积。记录应与当前材料、当前输入或实际返回一致。 |
| 14:00— 15:00 | 引导并检查:标允许预算为24。 | 完成“标允许预算为24”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:标允许预算为24。记录应与当前材料、当前输入或实际返回一致。 |
| 15:00— 16:00 | 引导并检查:在表里找长题这一列。 | 完成“在表里找长题这一列”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:在表里找长题这一列。记录应与当前材料、当前输入或实际返回一致。 |
| 16:00— 17:00 | 引导并检查:说明当前比较对象范围。 | 完成“说明当前比较对象范围”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:说明当前比较对象范围。记录应与当前材料、当前输入或实际返回一致。 |
| 17:00— 18:00 | 引导并检查:按默认损失运行。 | 完成“按默认损失运行”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:按默认损失运行。记录应与当前材料、当前输入或实际返回一致。 |
| 18:00— 19:00 | 引导并检查:核三个配置是否符合预算。 | 完成“核三个配置是否符合预算”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:核三个配置是否符合预算。记录应与当前材料、当前输入或实际返回一致。 |
| 19:00— 20:00 | 引导并检查:找最低损失对应数值。 | 完成“找最低损失对应数值”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:找最低损失对应数值。记录应与当前材料、当前输入或实际返回一致。 |
| 20:00— 21:00 | 引导并检查:把候选写成带条件句子。 | 完成“把候选写成带条件句子”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:把候选写成带条件句子。记录应与当前材料、当前输入或实际返回一致。 |
| 21:00— 22:00 | 引导并检查:改指标成长题。 | 完成“改指标成长题”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:改指标成长题。记录应与当前材料、当前输入或实际返回一致。 |
| 22:00— 23:00 | 引导并检查:引用长题比较数值。 | 完成“引用长题比较数值”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:引用长题比较数值。记录应与当前材料、当前输入或实际返回一致。 |
| 23:00— 24:00 | 引导并检查:保存默认与长题记录。 | 完成“保存默认与长题记录”,把结果写入Q1,需要计算时保留中间一步,需要来源时写编号。 | Q1中可核查:保存默认与长题记录。记录应与当前材料、当前输入或实际返回一致。 |
| 24:00— 25:00 | 引导并检查:仅把指标改短题。 | 完成“仅把指标改短题”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:仅把指标改短题。记录应与当前材料、当前输入或实际返回一致。 |
| 25:00— 26:00 | 引导并检查:找并列候选。 | 完成“找并列候选”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:找并列候选。记录应与当前材料、当前输入或实际返回一致。 |
| 26:00— 27:00 | 引导并检查:说明并列还缺什么资料。 | 完成“说明并列还缺什么资料”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:说明并列还缺什么资料。记录应与当前材料、当前输入或实际返回一致。 |
| 27:00— 28:00 | 引导并检查:预算改成23。 | 完成“预算改成23”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:预算改成23。记录应与当前材料、当前输入或实际返回一致。 |
| 28:00— 29:00 | 引导并检查:解释没有候选的原因。 | 完成“解释没有候选的原因”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:解释没有候选的原因。记录应与当前材料、当前输入或实际返回一致。 |
| 29:00— 30:00 | 引导并检查:恢复24准备评分比较。 | 完成“恢复24准备评分比较”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:恢复24准备评分比较。记录应与当前材料、当前输入或实际返回一致。 |
| 30:00— 31:00 | 引导并检查:读四题每题四步记录。 | 完成“读四题每题四步记录”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:读四题每题四步记录。记录应与当前材料、当前输入或实际返回一致。 |
| 31:00— 32:00 | 引导并检查:小系统步骤相加。 | 完成“小系统步骤相加”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:小系统步骤相加。记录应与当前材料、当前输入或实际返回一致。 |
| 32:00— 33:00 | 引导并检查:用16步作部分分母。 | 完成“用16步作部分分母”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:用16步作部分分母。记录应与当前材料、当前输入或实际返回一致。 |
| 33:00— 34:00 | 引导并检查:按四题全对重新计数。 | 完成“按四题全对重新计数”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:按四题全对重新计数。记录应与当前材料、当前输入或实际返回一致。 |
| 34:00— 35:00 | 引导并检查:比较两把尺子的曲线。 | 完成“比较两把尺子的曲线”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:比较两把尺子的曲线。记录应与当前材料、当前输入或实际返回一致。 |
| 35:00— 36:00 | 引导并检查:说明本例不能裁决全部涌现。 | 完成“说明本例不能裁决全部涌现”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:说明本例不能裁决全部涌现。记录应与当前材料、当前输入或实际返回一致。 |
| 36:00— 37:00 | 引导并检查:保留原始步骤表。 | 完成“保留原始步骤表”,把结果写入Q2,需要计算时保留中间一步,需要来源时写编号。 | Q2中可核查:保留原始步骤表。记录应与当前材料、当前输入或实际返回一致。 |
| 37:00— 38:00 | 独立段只提示任务、不提前给结论:读独立X/Y/Z资料。 | 完成“读独立X/Y/Z资料”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:读独立X/Y/Z资料。记录应与当前材料、当前输入或实际返回一致。 |
| 38:00— 39:00 | 独立段只提示任务、不提前给结论:逐配置计算预算。 | 完成“逐配置计算预算”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:逐配置计算预算。记录应与当前材料、当前输入或实际返回一致。 |
| 39:00— 40:00 | 独立段只提示任务、不提前给结论:独立找损失候选。 | 完成“独立找损失候选”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:独立找损失候选。记录应与当前材料、当前输入或实际返回一致。 |
| 40:00— 41:00 | 独立段只提示任务、不提前给结论:独立找长题候选。 | 完成“独立找长题候选”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:独立找长题候选。记录应与当前材料、当前输入或实际返回一致。 |
| 41:00— 42:00 | 独立段只提示任务、不提前给结论:独立找短题候选。 | 完成“独立找短题候选”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:独立找短题候选。记录应与当前材料、当前输入或实际返回一致。 |
| 42:00— 43:00 | 独立段只提示任务、不提前给结论:核是否有并列。 | 完成“核是否有并列”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:核是否有并列。记录应与当前材料、当前输入或实际返回一致。 |
| 43:00— 44:00 | 独立段只提示任务、不提前给结论:写第一项待补现实条件。 | 完成“写第一项待补现实条件”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:写第一项待补现实条件。记录应与当前材料、当前输入或实际返回一致。 |
| 44:00— 45:00 | 独立段只提示任务、不提前给结论:写第二项待补现实条件。 | 完成“写第二项待补现实条件”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:写第二项待补现实条件。记录应与当前材料、当前输入或实际返回一致。 |
| 45:00— 46:00 | 独立段只提示任务、不提前给结论:起草给同学的任务建议。 | 完成“起草给同学的任务建议”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:起草给同学的任务建议。记录应与当前材料、当前输入或实际返回一致。 |
| 46:00— 47:00 | 独立段只提示任务、不提前给结论:给建议附当前数据范围。 | 完成“给建议附当前数据范围”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:给建议附当前数据范围。记录应与当前材料、当前输入或实际返回一致。 |
| 47:00— 48:00 | 独立段只提示任务、不提前给结论:检查是否夸成整体最聪明。 | 完成“检查是否夸成整体最聪明”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:检查是否夸成整体最聪明。记录应与当前材料、当前输入或实际返回一致。 |
| 48:00— 49:00 | 请收取X/Y/Z的比较初稿,不公布候选名称;检查每个指标是否各有选择依据。 | 保存三个N×D算式、按损失/长题/短题分别作出的选择,以及仍待核实的信息。 | Q3首次作答包含三项指标与对应构造数值,不能只写哪个模型最好 |
| 49:00— 50:00 | 引导并检查:对照参考核数值方向。 | 完成“对照参考核数值方向”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:对照参考核数值方向。记录应与当前材料、当前输入或实际返回一致。 |
| 50:00— 51:00 | 引导并检查:检查每个分母单位。 | 完成“检查每个分母单位”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:检查每个分母单位。记录应与当前材料、当前输入或实际返回一致。 |
| 51:00— 52:00 | 引导并检查:修正并列处理。 | 完成“修正并列处理”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:修正并列处理。记录应与当前材料、当前输入或实际返回一致。 |
| 52:00— 53:00 | 引导并检查:比较全对与部分分用途。 | 完成“比较全对与部分分用途”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:比较全对与部分分用途。记录应与当前材料、当前输入或实际返回一致。 |
| 53:00— 54:00 | 引导并检查:给原建议加限制。 | 完成“给原建议加限制”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:给原建议加限制。记录应与当前材料、当前输入或实际返回一致。 |
| 54:00— 55:00 | 引导并检查:保存修订理由。 | 完成“保存修订理由”,把结果写入Q3,需要计算时保留中间一步,需要来源时写编号。 | Q3中可核查:保存修订理由。记录应与当前材料、当前输入或实际返回一致。 |
| 55:00— 56:00 | 引导并检查:读迁移评分材料。 | 完成“读迁移评分材料”,把结果写入Q4,需要计算时保留中间一步,需要来源时写编号。 | Q4中可核查:读迁移评分材料。记录应与当前材料、当前输入或实际返回一致。 |
| 56:00— 57:00 | 引导并检查:按新需求选比较指标。 | 完成“按新需求选比较指标”,把结果写入Q4,需要计算时保留中间一步,需要来源时写编号。 | Q4中可核查:按新需求选比较指标。记录应与当前材料、当前输入或实际返回一致。 |
| 57:00— 58:00 | 引导并检查:写需要补测的真实任务。 | 完成“写需要补测的真实任务”,把结果写入Q4,需要计算时保留中间一步,需要来源时写编号。 | Q4中可核查:写需要补测的真实任务。记录应与当前材料、当前输入或实际返回一致。 |
| 58:00— 59:00 | 引导并检查:用表中一对数回应大就好。 | 完成“用表中一对数回应大就好”,把结果写入Q5,需要计算时保留中间一步,需要来源时写编号。 | Q5中可核查:用表中一对数回应大就好。记录应与当前材料、当前输入或实际返回一致。 |
| 59:00— 60:00 | 引导并检查:交预算指标原始数据证据。 | 完成“交预算指标原始数据证据”,把结果写入Q5,需要计算时保留中间一步,需要来源时写编号。 | Q5中可核查:交预算指标原始数据证据。记录应与当前材料、当前输入或实际返回一致。 |
来源与使用范围
依据AIPath公开课序与已核对的公开课程文字重构;本课新增原创实验,不代表运行过网站全部交互。论文及官方说明用于核对概念边界,未据此复现论文系统。
- Scaling Laws for Neural Language Models:核对规模与平均损失的经验关系及研究范围。
- Training Compute-Optimal Large Language Models:核对给定计算预算下参数和训练数据配置问题,不推广固定万能比例。
- Are Emergent Abilities of Large Language Models a Mirage?:说明指标可影响观察到的跳变;不将全部涌现争论视为已解决。