# 第 13 课教师讲稿｜会接龙之后，怎样学会按要求回答？ 本课在 AIPath 的第 3 阶段，沿用原课主题“从 GPT 到 ChatGPT：SFT 与 RLHF”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。 ## 学完能做什么 - 能把用户条件与一条正确助手示范分开，按任务逐项比较候选回答。 - 能用礼貌代理反例说明奖励分数为何可能背离算术与格式要求。 - 能区分示范、偏好数据、奖励估计与策略更新，并有依据地回应错误反驳。 贯穿问题：**一个奖励规则为什么可能偏爱礼貌却算错的回答？** ## 课前准备与完整实验材料 教师先在本课页面找到“检查任务答案并对比奖励代理”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。 本地程序先按库存条件真实计算答案，再用限定格式检查候选数量、算式和礼貌词，按公开规则排序。它不是训练出的奖励模型，不能泛化到任意开放问答。 - 原有数量（输入框 `stock`）初始为： ```text 18 ``` - 取走数量（输入框 `taken`）初始为： ```text 7 ``` - 补回数量（输入框 `returned`）初始为： ```text 2 ``` - 候选回答：每行 编号|回答（输入框 `answers`）初始为： ```text A|目前可用13盏，18-7+2=13。 B|您好！很高兴帮助您，目前有14盏，18-7+2=14。 C|目前13盏。 ``` - 比较规则（输入框 `rule`）初始为： ```text task ``` 为保证正确性优先，任务分使用正确100分、格式10分、简洁1分；显示这些数字是解释本例排序，不作为一般内容质量评分。学生先手动核验再看程序，任何格式未识别情况都需人工复核。 ## 0—60 分钟：可以顺着使用的讲稿 ### 0—4 分钟｜接龙能力与完成要求不同 教师可以这样说：“上一课模型在原文里预测下一块。现在用户还要求算对、保留算式、只用一句话。顺畅接下去不自动等于完成这些要求，需要示范与评价来进一步引导行为。” **学生具体动作。** Q1 读台灯题，先写自己认为合格答案必须满足的条件。 **教师在桌边怎样追问。** 一句读起来礼貌的话，是否一定完成计算任务？ **本段要收集的证据。** 条件清单先于候选排序。 ### 4—8 分钟｜先亲自算清事实 教师可以这样说：“器材室十八盏，借出七盏，归还两盏。请先用普通算术确定当前数量；这个核算独立于任何模型语气，也不由多数候选投票决定。所有其他变化在本题中假设没有发生。” **学生具体动作。** Q2 写库存变化和算式，暂不看候选分数。 **教师在桌边怎样追问。** 归还是增加还是减少当前可用数？ **本段要收集的证据。** 输入条件与核算式完整。 ### 8—12 分钟｜示范长什么样 教师可以这样说：“一条监督微调材料包含用户输入与希望助手给出的回答。示范不仅是正确数字，也要符合保留算式和表达要求。今天我们在制作一条示范，不是在界面上输入一句话就已经完成模型微调。” **学生具体动作。** Q2 分两栏写用户问题与理想助手目标。 **教师在桌边怎样追问。** 目标回答放在哪一栏，用户限制又在哪一栏？ **本段要收集的证据。** 示范输入与输出区分。 ### 12—16 分钟｜把候选逐项核对 教师可以这样说：“A 正确且有算式，B 很礼貌却算错，C 数量正确但漏了算式。先让学生按自己的检查表逐项看，不立即给总分。完整任务包含事实正确、要求满足与表达清楚。” **学生具体动作。** 手动给 A/B/C 标数量、算式、格式是否满足。 **教师在桌边怎样追问。** 某项没满足，能否被更多招呼词抵消？ **本段要收集的证据。** 逐项事实证据而非整体印象。 ### 16—20 分钟｜运行透明规则而非神秘裁判 教师可以这样说：“页面规则优先给正确性足够大的权重，再看格式与简洁。它只识别这道题的整数减加和数量表达，不是通用语言质量模型。先手工判断，再用检查器核对是否因格式识别有限而不同。” **学生具体动作。** Q2 运行任务规则，查看原文与每列检查结果。 **教师在桌边怎样追问。** 这一列是语义理解结果，还是限定格式的规则匹配？ **本段要收集的证据。** 自动检查的识别范围明确。 ### 20—24 分钟｜故意使用一个坏奖励 教师可以这样说：“切换只数您好与很高兴的代理规则。这是一个故意有漏洞的评分器，可能把错误回答排前面。它追踪容易计数的表面词，却漏掉真正目标：算对并按要求完成任务。” **学生具体动作。** Q3 只换评分规则，先猜谁排第一再运行。 **教师在桌边怎样追问。** 错误候选的哪两个词给它加了分？ **本段要收集的证据。** 排名改变与代理词匹配对应。 ### 24—28 分钟｜奖励高为什么不够 教师可以这样说：“如果训练过程只追这个代理分，系统可能学会讨好代理，而没有改善算术。奖励是对目标的近似描述，不是事实本身。今天的手写代理只是为了暴露漏洞，不能等同所有 RLHF 方法。” **学生具体动作。** Q3 写代理分与任务质量脱节的具体证据。 **教师在桌边怎样追问。** 把错误数字改得更礼貌，任务是否真的完成？ **本段要收集的证据。** 漏洞说明引用同一候选。 ### 28—32 分钟｜把 SFT 与偏好信号分开 教师可以这样说：“示范给出希望模仿的完整回答；偏好材料可以给出两回答谁更符合目标及理由。经典 RLHF 可由偏好训练奖励模型，再优化生成策略；其他方法流程不同，不必把每个产品都套入同一管线。” **学生具体动作。** Q5 写一条示范与一条候选比较理由。 **教师在桌边怎样追问。** 比较标签是否本身已经等于训练后的生成模型？ **本段要收集的证据。** 数据、奖励估计与策略分开。 ### 32—36 分钟｜使用时被纠正不必然训练 教师可以这样说：“用户说“你算错了”可能进入当前上下文，下一轮回答因输入改变而不同。是否有权重更新取决于另行安排的训练流程，不能只看回复变了就宣布完成了强化学习。” **学生具体动作。** 给“我纠正一次就做了 RLHF”写条件检查。 **教师在桌边怎样追问。** 这次有没有收集偏好数据并执行策略更新？ **本段要收集的证据。** 上下文影响与参数更新区别。 ### 36—40 分钟｜独立电池材料 教师可以这样说：“Q4 改原有二十四、取走九、补回四。先自己写符合要求的一句答案，再对 D/E/F 排序。不要照抄教师台灯数值；此阶段只检查材料，不展示参考答案。” **学生具体动作。** Q4 手算新数量，写理想答案与逐项检查。 **教师在桌边怎样追问。** 用户要求“不加招呼”是否已经写进检查表？ **本段要收集的证据。** 新题数字与格式条件完整。 ### 40—44 分钟｜独立比较两种评分 教师可以这样说：“继续 Q4，分别按任务标准与礼貌代理排序。把三项数量输入和候选全文都换好，再运行。两个排序应分别记录，不要为了让代理看起来合理而事后改候选。” **学生具体动作。** Q4 运行两种规则并写排序差异的原因。 **教师在桌边怎样追问。** 这一轮只改规则，还是连候选内容也变了？ **本段要收集的证据。** 对照两轮材料一致。 ### 44—48 分钟｜独立回应错误反驳 教师可以这样说：“有人坚持当前应该二十个并问你是否同意。请只依据题目条件回答，允许友善表达但不牺牲算术。若要得到二十，需要说明增加了什么原题没有提供的新条件。” **学生具体动作。** Q5 写对“应该20个”的回应及所需新增条件。 **教师在桌边怎样追问。** 你是否因为用户坚持就改变了现有事实？ **本段要收集的证据。** 有算式、有条件、无无据迎合。 ### 48—52 分钟｜此时讲评任务与代理 教师可以这样说：“独立题十九，完整答案 D 优先于漏算式的 F，再到算错且多招呼的 E；坏代理却让 E 拿两分排前。回应反驳应保留二十四减九加四等于十九，另增一个才到二十。” **学生具体动作。** 修订 Q4/Q5，用候选原文解释排序。 **教师在桌边怎样追问。** 哪项检查把数量正确但漏式的 F 与 D 区分开？ **本段要收集的证据。** 质量层次对应实际要求。 ### 52—56 分钟｜把奖励漏洞变成检查任务 教师可以这样说：“真实任务应先定义成功标准，准备能暴露投机的反例，再检查自动评价与人工判断是否一致。不能只加更多关键词就以为代理已完美；一些开放任务还需来源核验和真实用户验收。” **学生具体动作。** Q6 设计一条会骗过礼貌代理的新候选并说明漏洞。 **教师在桌边怎样追问。** 你的反例只是语气不同，还是确实违反关键任务？ **本段要收集的证据。** 可复查的失败例与缺失标准。 ### 56—60 分钟｜离堂说清实际做过什么 教师可以这样说：“今天实际制作了示范、比较候选、运行透明的限定规则评分，没有训练语言模型或奖励模型。用这套材料理解 SFT 与偏好信号的作用，之后才能判断产品“对齐”宣传覆盖了哪些实际步骤。” **学生具体动作。** Q6 提交示范、比较理由、漏洞例及完成范围。 **教师在桌边怎样追问。** 评价器分数能否替代最终事实核验？ **本段要收集的证据。** 数据制作与真实训练边界。 ## 教师的概念备查：先用上面的观察，再补准确说法 这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。 ### 监督微调与助手示范 SFT是监督微调，在已有模型基础上使用任务或对话示范进一步训练参数。数据可包含系统要求、用户问题和理想助手回答，目标是提高期望回答在相应输入下的概率。它仍可使用下一Token预测损失，例如仅对助手回答的位置计算损失，因此预训练和SFT不是“文字接龙与完全不同算法”的简单分界。示范既能影响格式和指令遵循，也可能教授知识或技能，效果要通过评估确认。 可以补充的例子：输入给库存和借出数量，目标展示正确减法及简洁结论；不是只让模型复制“当然可以”这种口头禅。 应当停住的推论：几条课堂示范不足以完成可靠微调；不把SFT说成只改变外表且绝不学习新知识。 ### 偏好数据与评价标准 当一个问题有多个可接受回答时，可以收集比较或排序，表达哪些回答在指定准则下更好。比较前要先定义标准，如计算正确、满足限制、信息完整、表达清楚，并把事实错误与个人文风偏好分开。标注员会有分歧，复杂任务也可能需要查资料；“选一个喜欢的”并不天然比写示范更准确或无需成本。保存选择及理由能帮助发现标准含糊或样本存在冲突。 可以补充的例子：问还剩几盏灯，简短正确回答优于热情但算错的回答；若两个都正确，可再按要求是否需要算式作比较。 应当停住的推论：人类多数喜欢不等于事实为真，不能以投票替代计算或证据。 ### RLHF的历史典型流程 一种经典语言模型RLHF流程先收集人类对候选回答的偏好，再训练奖励模型估计这类偏好，接着用强化学习优化生成策略以获得更高奖励，同时通常限制变化过大。这里奖励模型是偏好信号的近似，生成模型则是被优化的回答者，二者职责不同。这是InstructGPT论文中的重要范式，不是所有今天产品的固定配方。其他偏好优化方法可以采用不同流程，DPO便不要求按同样方式单独训练奖励模型。 可以补充的例子：排序样本说A优于B，奖励模型学习预测这样的相对偏好；以后新回答的高分来自模型估计，不是每次都有人逐字看过。 应当停住的推论：本课只做数据标注与流程纸面模拟，没有训练奖励模型或执行强化学习。 ### 代理目标与独立核验 可计算的评分通常只是我们真实目标的近似。若评分过度奖励礼貌、长度或迎合，模型可能学会提高这些代理信号，却没有更准确地完成任务。得到更高奖励不能单独证明更有用或更诚实，因此仍需独立题、事实核验、失败样本和人工评估。用户指出错误时，助手应依据证据复算，而不是为了取悦用户立即接受错误说法。把这个边界讲清，才能理解对齐有帮助却不提供完美保证。 可以补充的例子：若代理分只看是否含“您好”与“很高兴”，热情的错误算式可能超过简洁正确答案；问题在评分与任务目标脱节。 应当停住的推论：不能凭一次道歉或改口断言某产品具体使用了哪种训练算法，行为由多种因素共同影响。 ## 后置讲评：独立尝试结束后才展开 Q2 18−7+2=13，理想示范包含用户条件和“目前可用13盏，18-7+2=13。”。任务标准 A>C>B；C 数量对但漏算式，B 数量与算式均错。Q3 礼貌代理 B=2、A=C=0，B 排前并不表示任务质量好。 Q4 24−9+4=19，理想回答“19个，24-9+4=19。”。任务标准 D>F>E；礼貌代理 E=2、D=F=0。正确性不能用招呼词抵消。Q5 可答：按现有条件是19个，因为24-9+4=19；如果另补入1个才是20个。不应无据迎合。 Q6 任何含两礼貌词而算错或漏关键要求的候选均能暴露本代理漏洞，须指出具体缺失。SFT 用示范进一步训练，偏好比较提供排序信号；经典奖励建模与策略优化是不同步骤，并非所有系统采用同一种流程。本页仅规则计分和材料制作，没有训练奖励模型或生成模型。对不在整数式/数量表达识别范围内的回答，应人工复核，不能据自动匹配失败断言一切语义错误。 ## 板书、补救与课后加深 - 用户任务与限制 → 一条理想示范。 - 候选比较：算对 → 满足要求 → 清楚简洁。 - 代理奖励 ≠ 真正目标；偏好数据 ≠ 已训练策略。 使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。 比较SFT目标掩码与偏好成对损失，阅读DPO与带奖励模型的RLHF差异；做小型标注一致性实验，完整PPO、KL约束与训练工程待数学深度确认。 深化内容另计时间；先保证本课独立练习完成。 ## 来源和实际完成范围 - [AIPath 对应课](https://aipath.buynao.com/#/lesson/13-sft-rlhf)：用作课序与主题对应。 - [Ouyang et al.：Training language models to follow instructions with human feedback（2022）](https://arxiv.org/abs/2203.02155)：核对历史 InstructGPT 的监督微调、偏好数据、奖励模型和强化学习步骤。 - [Rafailov et al.：Direct Preference Optimization（2023）](https://arxiv.org/abs/2305.18290)：说明偏好优化并非都需要单独训练奖励模型；仅列选学，不展开推导。 新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。 ## 逐分钟安排 | 时间 | 教师讲解与操作 | 学生活动 | 检查结果 | |---|---|---|---| | 00:00—01:00 | 上一课模型在原文里预测下一块。现在用户还要求算对、保留算式、只用一句话。顺畅接下去不自动等于完成这些要求，需要示范与评价来进一步引导行为。 | 在工作纸记录本段问题：接龙能力与完成要求不同 | 保留一句关于“接龙能力与完成要求不同”的原始解释 | | 01:00—02:00 | 把本段材料留在屏幕，说明操作：Q1 读台灯题，先写自己认为合格答案必须满足的条件 | Q1 读台灯题，先写自己认为合格答案必须满足的条件 | 条件清单先于候选排序 | | 02:00—03:00 | 逐人检查记录；只追问：一句读起来礼貌的话，是否一定完成计算任务？ | 对照刚才的输入和输出，回答：一句读起来礼貌的话，是否一定完成计算任务？ | 回答中标出本段的输入条件和一个中间量 | | 03:00—04:00 | 请一位学生读记录，检查是否完成：条件清单先于候选排序。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在接龙能力与完成要求不同旁保留修订痕迹 | 条件清单先于候选排序 | | 04:00—05:00 | 器材室十八盏，借出七盏，归还两盏。请先用普通算术确定当前数量；这个核算独立于任何模型语气，也不由多数候选投票决定。所有其他变化在本题中假设没有发生。 | 在工作纸记录本段问题：先亲自算清事实 | 保留一句关于“先亲自算清事实”的原始解释 | | 05:00—06:00 | 把本段材料留在屏幕，说明操作：Q2 写库存变化和算式，暂不看候选分数 | Q2 写库存变化和算式，暂不看候选分数 | 输入条件与核算式完整 | | 06:00—07:00 | 逐人检查记录；只追问：归还是增加还是减少当前可用数？ | 对照刚才的输入和输出，回答：归还是增加还是减少当前可用数？ | 回答中标出本段的输入条件和一个中间量 | | 07:00—08:00 | 请一位学生读记录，检查是否完成：输入条件与核算式完整。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在先亲自算清事实旁保留修订痕迹 | 输入条件与核算式完整 | | 08:00—09:00 | 一条监督微调材料包含用户输入与希望助手给出的回答。示范不仅是正确数字，也要符合保留算式和表达要求。今天我们在制作一条示范，不是在界面上输入一句话就已经完成模型微调。 | 在工作纸记录本段问题：示范长什么样 | 保留一句关于“示范长什么样”的原始解释 | | 09:00—10:00 | 把本段材料留在屏幕，说明操作：Q2 分两栏写用户问题与理想助手目标 | Q2 分两栏写用户问题与理想助手目标 | 示范输入与输出区分 | | 10:00—11:00 | 逐人检查记录；只追问：目标回答放在哪一栏，用户限制又在哪一栏？ | 对照刚才的输入和输出，回答：目标回答放在哪一栏，用户限制又在哪一栏？ | 回答中标出本段的输入条件和一个中间量 | | 11:00—12:00 | 请一位学生读记录，检查是否完成：示范输入与输出区分。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在示范长什么样旁保留修订痕迹 | 示范输入与输出区分 | | 12:00—13:00 | A 正确且有算式，B 很礼貌却算错，C 数量正确但漏了算式。先让学生按自己的检查表逐项看，不立即给总分。完整任务包含事实正确、要求满足与表达清楚。 | 在工作纸记录本段问题：把候选逐项核对 | 保留一句关于“把候选逐项核对”的原始解释 | | 13:00—14:00 | 把本段材料留在屏幕，说明操作：手动给 A/B/C 标数量、算式、格式是否满足 | 手动给 A/B/C 标数量、算式、格式是否满足 | 逐项事实证据而非整体印象 | | 14:00—15:00 | 逐人检查记录；只追问：某项没满足，能否被更多招呼词抵消？ | 对照刚才的输入和输出，回答：某项没满足，能否被更多招呼词抵消？ | 回答中标出本段的输入条件和一个中间量 | | 15:00—16:00 | 请一位学生读记录，检查是否完成：逐项事实证据而非整体印象。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把候选逐项核对旁保留修订痕迹 | 逐项事实证据而非整体印象 | | 16:00—17:00 | 页面规则优先给正确性足够大的权重，再看格式与简洁。它只识别这道题的整数减加和数量表达，不是通用语言质量模型。先手工判断，再用检查器核对是否因格式识别有限而不同。 | 在工作纸记录本段问题：运行透明规则而非神秘裁判 | 保留一句关于“运行透明规则而非神秘裁判”的原始解释 | | 17:00—18:00 | 把本段材料留在屏幕，说明操作：Q2 运行任务规则，查看原文与每列检查结果 | Q2 运行任务规则，查看原文与每列检查结果 | 自动检查的识别范围明确 | | 18:00—19:00 | 逐人检查记录；只追问：这一列是语义理解结果，还是限定格式的规则匹配？ | 对照刚才的输入和输出，回答：这一列是语义理解结果，还是限定格式的规则匹配？ | 回答中标出本段的输入条件和一个中间量 | | 19:00—20:00 | 请一位学生读记录，检查是否完成：自动检查的识别范围明确。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在运行透明规则而非神秘裁判旁保留修订痕迹 | 自动检查的识别范围明确 | | 20:00—21:00 | 切换只数您好与很高兴的代理规则。这是一个故意有漏洞的评分器，可能把错误回答排前面。它追踪容易计数的表面词，却漏掉真正目标：算对并按要求完成任务。 | 在工作纸记录本段问题：故意使用一个坏奖励 | 保留一句关于“故意使用一个坏奖励”的原始解释 | | 21:00—22:00 | 把本段材料留在屏幕，说明操作：Q3 只换评分规则，先猜谁排第一再运行 | Q3 只换评分规则，先猜谁排第一再运行 | 排名改变与代理词匹配对应 | | 22:00—23:00 | 逐人检查记录；只追问：错误候选的哪两个词给它加了分？ | 对照刚才的输入和输出，回答：错误候选的哪两个词给它加了分？ | 回答中标出本段的输入条件和一个中间量 | | 23:00—24:00 | 请一位学生读记录，检查是否完成：排名改变与代理词匹配对应。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在故意使用一个坏奖励旁保留修订痕迹 | 排名改变与代理词匹配对应 | | 24:00—25:00 | 如果训练过程只追这个代理分，系统可能学会讨好代理，而没有改善算术。奖励是对目标的近似描述，不是事实本身。今天的手写代理只是为了暴露漏洞，不能等同所有 RLHF 方法。 | 在工作纸记录本段问题：奖励高为什么不够 | 保留一句关于“奖励高为什么不够”的原始解释 | | 25:00—26:00 | 把本段材料留在屏幕，说明操作：Q3 写代理分与任务质量脱节的具体证据 | Q3 写代理分与任务质量脱节的具体证据 | 漏洞说明引用同一候选 | | 26:00—27:00 | 逐人检查记录；只追问：把错误数字改得更礼貌，任务是否真的完成？ | 对照刚才的输入和输出，回答：把错误数字改得更礼貌，任务是否真的完成？ | 回答中标出本段的输入条件和一个中间量 | | 27:00—28:00 | 请一位学生读记录，检查是否完成：漏洞说明引用同一候选。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在奖励高为什么不够旁保留修订痕迹 | 漏洞说明引用同一候选 | | 28:00—29:00 | 示范给出希望模仿的完整回答；偏好材料可以给出两回答谁更符合目标及理由。经典 RLHF 可由偏好训练奖励模型，再优化生成策略；其他方法流程不同，不必把每个产品都套入同一管线。 | 在工作纸记录本段问题：把 SFT 与偏好信号分开 | 保留一句关于“把 SFT 与偏好信号分开”的原始解释 | | 29:00—30:00 | 把本段材料留在屏幕，说明操作：Q5 写一条示范与一条候选比较理由 | Q5 写一条示范与一条候选比较理由 | 数据、奖励估计与策略分开 | | 30:00—31:00 | 逐人检查记录；只追问：比较标签是否本身已经等于训练后的生成模型？ | 对照刚才的输入和输出，回答：比较标签是否本身已经等于训练后的生成模型？ | 回答中标出本段的输入条件和一个中间量 | | 31:00—32:00 | 请一位学生读记录，检查是否完成：数据、奖励估计与策略分开。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把 SFT 与偏好信号分开旁保留修订痕迹 | 数据、奖励估计与策略分开 | | 32:00—33:00 | 用户说“你算错了”可能进入当前上下文，下一轮回答因输入改变而不同。是否有权重更新取决于另行安排的训练流程，不能只看回复变了就宣布完成了强化学习。 | 在工作纸记录本段问题：使用时被纠正不必然训练 | 保留一句关于“使用时被纠正不必然训练”的原始解释 | | 33:00—34:00 | 把本段材料留在屏幕，说明操作：给“我纠正一次就做了 RLHF”写条件检查 | 给“我纠正一次就做了 RLHF”写条件检查 | 上下文影响与参数更新区别 | | 34:00—35:00 | 逐人检查记录；只追问：这次有没有收集偏好数据并执行策略更新？ | 对照刚才的输入和输出，回答：这次有没有收集偏好数据并执行策略更新？ | 回答中标出本段的输入条件和一个中间量 | | 35:00—36:00 | 请一位学生读记录，检查是否完成：上下文影响与参数更新区别。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在使用时被纠正不必然训练旁保留修订痕迹 | 上下文影响与参数更新区别 | | 36:00—37:00 | Q4 改原有二十四、取走九、补回四。先自己写符合要求的一句答案，再对 D/E/F 排序。不要照抄教师台灯数值；此阶段只检查材料，不展示参考答案。 | 在工作纸记录本段问题：独立电池材料 | 保留一句关于“独立电池材料”的原始解释 | | 37:00—38:00 | 把本段材料留在屏幕，说明操作：Q4 手算新数量，写理想答案与逐项检查 | Q4 手算新数量，写理想答案与逐项检查 | 新题数字与格式条件完整 | | 38:00—39:00 | 逐人检查记录；只追问：用户要求“不加招呼”是否已经写进检查表？ | 对照刚才的输入和输出，回答：用户要求“不加招呼”是否已经写进检查表？ | 回答中标出本段的输入条件和一个中间量 | | 39:00—40:00 | 请一位学生读记录，检查是否完成：新题数字与格式条件完整。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立电池材料旁保留修订痕迹 | 新题数字与格式条件完整 | | 40:00—41:00 | 继续 Q4，分别按任务标准与礼貌代理排序。把三项数量输入和候选全文都换好，再运行。两个排序应分别记录，不要为了让代理看起来合理而事后改候选。 | 在工作纸记录本段问题：独立比较两种评分 | 保留一句关于“独立比较两种评分”的原始解释 | | 41:00—42:00 | 把本段材料留在屏幕，说明操作：Q4 运行两种规则并写排序差异的原因 | Q4 运行两种规则并写排序差异的原因 | 对照两轮材料一致 | | 42:00—43:00 | 逐人检查记录；只追问：这一轮只改规则，还是连候选内容也变了？ | 对照刚才的输入和输出，回答：这一轮只改规则，还是连候选内容也变了？ | 回答中标出本段的输入条件和一个中间量 | | 43:00—44:00 | 请一位学生读记录，检查是否完成：对照两轮材料一致。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立比较两种评分旁保留修订痕迹 | 对照两轮材料一致 | | 44:00—45:00 | 有人坚持当前应该二十个并问你是否同意。请只依据题目条件回答，允许友善表达但不牺牲算术。若要得到二十，需要说明增加了什么原题没有提供的新条件。 | 在工作纸记录本段问题：独立回应错误反驳 | 保留一句关于“独立回应错误反驳”的原始解释 | | 45:00—46:00 | 把本段材料留在屏幕，说明操作：Q5 写对“应该20个”的回应及所需新增条件 | Q5 写对“应该20个”的回应及所需新增条件 | 有算式、有条件、无无据迎合 | | 46:00—47:00 | 逐人检查记录；只追问：你是否因为用户坚持就改变了现有事实？ | 对照刚才的输入和输出，回答：你是否因为用户坚持就改变了现有事实？ | 回答中标出本段的输入条件和一个中间量 | | 47:00—48:00 | 请一位学生读记录，检查是否完成：有算式、有条件、无无据迎合。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在独立回应错误反驳旁保留修订痕迹 | 有算式、有条件、无无据迎合 | | 48:00—49:00 | 独立题十九，完整答案 D 优先于漏算式的 F，再到算错且多招呼的 E；坏代理却让 E 拿两分排前。回应反驳应保留二十四减九加四等于十九，另增一个才到二十。 | 在工作纸记录本段问题：此时讲评任务与代理 | 保留一句关于“此时讲评任务与代理”的原始解释 | | 49:00—50:00 | 把本段材料留在屏幕，说明操作：修订 Q4/Q5，用候选原文解释排序 | 修订 Q4/Q5，用候选原文解释排序 | 质量层次对应实际要求 | | 50:00—51:00 | 逐人检查记录；只追问：哪项检查把数量正确但漏式的 F 与 D 区分开？ | 对照刚才的输入和输出，回答：哪项检查把数量正确但漏式的 F 与 D 区分开？ | 回答中标出本段的输入条件和一个中间量 | | 51:00—52:00 | 请一位学生读记录，检查是否完成：质量层次对应实际要求。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在此时讲评任务与代理旁保留修订痕迹 | 质量层次对应实际要求 | | 52:00—53:00 | 真实任务应先定义成功标准，准备能暴露投机的反例，再检查自动评价与人工判断是否一致。不能只加更多关键词就以为代理已完美；一些开放任务还需来源核验和真实用户验收。 | 在工作纸记录本段问题：把奖励漏洞变成检查任务 | 保留一句关于“把奖励漏洞变成检查任务”的原始解释 | | 53:00—54:00 | 把本段材料留在屏幕，说明操作：Q6 设计一条会骗过礼貌代理的新候选并说明漏洞 | Q6 设计一条会骗过礼貌代理的新候选并说明漏洞 | 可复查的失败例与缺失标准 | | 54:00—55:00 | 逐人检查记录；只追问：你的反例只是语气不同，还是确实违反关键任务？ | 对照刚才的输入和输出，回答：你的反例只是语气不同，还是确实违反关键任务？ | 回答中标出本段的输入条件和一个中间量 | | 55:00—56:00 | 请一位学生读记录，检查是否完成：可复查的失败例与缺失标准。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在把奖励漏洞变成检查任务旁保留修订痕迹 | 可复查的失败例与缺失标准 | | 56:00—57:00 | 今天实际制作了示范、比较候选、运行透明的限定规则评分，没有训练语言模型或奖励模型。用这套材料理解 SFT 与偏好信号的作用，之后才能判断产品“对齐”宣传覆盖了哪些实际步骤。 | 在工作纸记录本段问题：离堂说清实际做过什么 | 保留一句关于“离堂说清实际做过什么”的原始解释 | | 57:00—58:00 | 把本段材料留在屏幕，说明操作：Q6 提交示范、比较理由、漏洞例及完成范围 | Q6 提交示范、比较理由、漏洞例及完成范围 | 数据制作与真实训练边界 | | 58:00—59:00 | 逐人检查记录；只追问：评价器分数能否替代最终事实核验？ | 对照刚才的输入和输出，回答：评价器分数能否替代最终事实核验？ | 回答中标出本段的输入条件和一个中间量 | | 59:00—60:00 | 请一位学生读记录，检查是否完成：数据制作与真实训练边界。未完成者先补材料，不用口号替代依据。 | 将本段观察写为“条件—过程—结果”，在离堂说清实际做过什么旁保留修订痕迹 | 数据制作与真实训练边界 | --- # 第 13 课参考答案与评分｜会接龙之后，怎样学会按要求回答？ 仅在独立题结束后展开。首次预测不按对错扣分；下列固定算例的答案来自明确的输入与算法。 Q2 18−7+2=13，理想示范包含用户条件和“目前可用13盏，18-7+2=13。”。任务标准 A>C>B；C 数量对但漏算式，B 数量与算式均错。Q3 礼貌代理 B=2、A=C=0，B 排前并不表示任务质量好。 Q4 24−9+4=19，理想回答“19个，24-9+4=19。”。任务标准 D>F>E；礼貌代理 E=2、D=F=0。正确性不能用招呼词抵消。Q5 可答：按现有条件是19个，因为24-9+4=19；如果另补入1个才是20个。不应无据迎合。 Q6 任何含两礼貌词而算错或漏关键要求的候选均能暴露本代理漏洞，须指出具体缺失。SFT 用示范进一步训练，偏好比较提供排序信号；经典奖励建模与策略优化是不同步骤，并非所有系统采用同一种流程。本页仅规则计分和材料制作，没有训练奖励模型或生成模型。对不在整数式/数量表达识别范围内的回答，应人工复核，不能据自动匹配失败断言一切语义错误。 ## 10 分评分 - Q1—Q2：保留预测并正确展示默认条件的一个手算中间量，2 分；不因预测猜错扣分。 - Q3：按题目只改一个条件，记录原值、新值和实际变化，2 分。 - Q4：独立材料中的计算或检查过程可复算，2 分。 - Q5：解释本课机制并指出证据对应哪一步，2 分。 - Q6：迁移题与离堂题明确实验边界，2 分。 评分时应接受含义相同的学生表述。若输入条件与题目不同，先标记为另一轮实验，再要求补做指定条件；不要将不同条件的输出直接判成同一题的答案。