第 13 课教师讲稿｜会接龙之后，怎样学会按要求回答？

本课在 AIPath 的第 3 阶段，沿用原课主题“从 GPT 到 ChatGPT：SFT 与 RLHF”。建议 60 分钟，一人一台电脑。先预测、再手算一个中间结果，最后操作页面。网站中的宏大问题在本课缩小为一个可重复的小过程；课堂程序只承担下文写明的计算，不代表真实产品的完整行为。

学完能做什么

• 能把用户条件与一条正确助手示范分开，按任务逐项比较候选回答。
• 能用礼貌代理反例说明奖励分数为何可能背离算术与格式要求。
• 能区分示范、偏好数据、奖励估计与策略更新，并有依据地回应错误反驳。

贯穿问题：一个奖励规则为什么可能偏爱礼貌却算错的回答？

课前准备与完整实验材料

教师先在本课页面找到“检查任务答案并对比奖励代理”，核对输入框初始值。核心按钮名为“计算并查看过程”。请先自行完成默认、改变条件、独立题三次运行，确认本机能看到过程表；本地运算不需要账号或联网。初次投影时不要留着上一轮结果，让学生先在工作纸写预测。课堂使用学生工作纸，讲評再打开参考答案，避免学生边看答案边回填。

本地程序先按库存条件真实计算答案，再用限定格式检查候选数量、算式和礼貌词，按公开规则排序。它不是训练出的奖励模型，不能泛化到任意开放问答。

• 原有数量（输入框 stock）初始为：

18

• 取走数量（输入框 taken）初始为：

7

• 补回数量（输入框 returned）初始为：

2

• 候选回答：每行 编号|回答（输入框 answers）初始为：

A|目前可用13盏，18-7+2=13。
B|您好！很高兴帮助您，目前有14盏，18-7+2=14。
C|目前13盏。

• 比较规则（输入框 rule）初始为：

task

为保证正确性优先，任务分使用正确100分、格式10分、简洁1分；显示这些数字是解释本例排序，不作为一般内容质量评分。学生先手动核验再看程序，任何格式未识别情况都需人工复核。

0—60 分钟：可以顺着使用的讲稿

0—4 分钟｜接龙能力与完成要求不同

教师可以这样说：“上一课模型在原文里预测下一块。现在用户还要求算对、保留算式、只用一句话。顺畅接下去不自动等于完成这些要求，需要示范与评价来进一步引导行为。”

学生具体动作。 Q1 读台灯题，先写自己认为合格答案必须满足的条件。

教师在桌边怎样追问。 一句读起来礼貌的话，是否一定完成计算任务？

本段要收集的证据。 条件清单先于候选排序。

4—8 分钟｜先亲自算清事实

教师可以这样说：“器材室十八盏，借出七盏，归还两盏。请先用普通算术确定当前数量；这个核算独立于任何模型语气，也不由多数候选投票决定。所有其他变化在本题中假设没有发生。”

学生具体动作。 Q2 写库存变化和算式，暂不看候选分数。

教师在桌边怎样追问。 归还是增加还是减少当前可用数？

本段要收集的证据。 输入条件与核算式完整。

8—12 分钟｜示范长什么样

教师可以这样说：“一条监督微调材料包含用户输入与希望助手给出的回答。示范不仅是正确数字，也要符合保留算式和表达要求。今天我们在制作一条示范，不是在界面上输入一句话就已经完成模型微调。”

学生具体动作。 Q2 分两栏写用户问题与理想助手目标。

教师在桌边怎样追问。 目标回答放在哪一栏，用户限制又在哪一栏？

本段要收集的证据。 示范输入与输出区分。

12—16 分钟｜把候选逐项核对

教师可以这样说：“A 正确且有算式，B 很礼貌却算错，C 数量正确但漏了算式。先让学生按自己的检查表逐项看，不立即给总分。完整任务包含事实正确、要求满足与表达清楚。”

学生具体动作。 手动给 A/B/C 标数量、算式、格式是否满足。

教师在桌边怎样追问。 某项没满足，能否被更多招呼词抵消？

本段要收集的证据。 逐项事实证据而非整体印象。

16—20 分钟｜运行透明规则而非神秘裁判

教师可以这样说：“页面规则优先给正确性足够大的权重，再看格式与简洁。它只识别这道题的整数减加和数量表达，不是通用语言质量模型。先手工判断，再用检查器核对是否因格式识别有限而不同。”

学生具体动作。 Q2 运行任务规则，查看原文与每列检查结果。

教师在桌边怎样追问。 这一列是语义理解结果，还是限定格式的规则匹配？

本段要收集的证据。 自动检查的识别范围明确。

20—24 分钟｜故意使用一个坏奖励

教师可以这样说：“切换只数您好与很高兴的代理规则。这是一个故意有漏洞的评分器，可能把错误回答排前面。它追踪容易计数的表面词，却漏掉真正目标：算对并按要求完成任务。”

学生具体动作。 Q3 只换评分规则，先猜谁排第一再运行。

教师在桌边怎样追问。 错误候选的哪两个词给它加了分？

本段要收集的证据。 排名改变与代理词匹配对应。

24—28 分钟｜奖励高为什么不够

教师可以这样说：“如果训练过程只追这个代理分，系统可能学会讨好代理，而没有改善算术。奖励是对目标的近似描述，不是事实本身。今天的手写代理只是为了暴露漏洞，不能等同所有 RLHF 方法。”

学生具体动作。 Q3 写代理分与任务质量脱节的具体证据。

教师在桌边怎样追问。 把错误数字改得更礼貌，任务是否真的完成？

本段要收集的证据。 漏洞说明引用同一候选。

28—32 分钟｜把 SFT 与偏好信号分开

教师可以这样说：“示范给出希望模仿的完整回答；偏好材料可以给出两回答谁更符合目标及理由。经典 RLHF 可由偏好训练奖励模型，再优化生成策略；其他方法流程不同，不必把每个产品都套入同一管线。”

学生具体动作。 Q5 写一条示范与一条候选比较理由。

教师在桌边怎样追问。 比较标签是否本身已经等于训练后的生成模型？

本段要收集的证据。 数据、奖励估计与策略分开。

32—36 分钟｜使用时被纠正不必然训练

教师可以这样说：“用户说“你算错了”可能进入当前上下文，下一轮回答因输入改变而不同。是否有权重更新取决于另行安排的训练流程，不能只看回复变了就宣布完成了强化学习。”

学生具体动作。 给“我纠正一次就做了 RLHF”写条件检查。

教师在桌边怎样追问。 这次有没有收集偏好数据并执行策略更新？

本段要收集的证据。 上下文影响与参数更新区别。

36—40 分钟｜独立电池材料

教师可以这样说：“Q4 改原有二十四、取走九、补回四。先自己写符合要求的一句答案，再对 D/E/F 排序。不要照抄教师台灯数值；此阶段只检查材料，不展示参考答案。”

学生具体动作。 Q4 手算新数量，写理想答案与逐项检查。

教师在桌边怎样追问。 用户要求“不加招呼”是否已经写进检查表？

本段要收集的证据。 新题数字与格式条件完整。

40—44 分钟｜独立比较两种评分

教师可以这样说：“继续 Q4，分别按任务标准与礼貌代理排序。把三项数量输入和候选全文都换好，再运行。两个排序应分别记录，不要为了让代理看起来合理而事后改候选。”

学生具体动作。 Q4 运行两种规则并写排序差异的原因。

教师在桌边怎样追问。 这一轮只改规则，还是连候选内容也变了？

本段要收集的证据。 对照两轮材料一致。

44—48 分钟｜独立回应错误反驳

教师可以这样说：“有人坚持当前应该二十个并问你是否同意。请只依据题目条件回答，允许友善表达但不牺牲算术。若要得到二十，需要说明增加了什么原题没有提供的新条件。”

学生具体动作。 Q5 写对“应该20个”的回应及所需新增条件。

教师在桌边怎样追问。 你是否因为用户坚持就改变了现有事实？

本段要收集的证据。 有算式、有条件、无无据迎合。

48—52 分钟｜此时讲评任务与代理

教师可以这样说：“独立题十九，完整答案 D 优先于漏算式的 F，再到算错且多招呼的 E；坏代理却让 E 拿两分排前。回应反驳应保留二十四减九加四等于十九，另增一个才到二十。”

学生具体动作。 修订 Q4/Q5，用候选原文解释排序。

教师在桌边怎样追问。 哪项检查把数量正确但漏式的 F 与 D 区分开？

本段要收集的证据。 质量层次对应实际要求。

52—56 分钟｜把奖励漏洞变成检查任务

教师可以这样说：“真实任务应先定义成功标准，准备能暴露投机的反例，再检查自动评价与人工判断是否一致。不能只加更多关键词就以为代理已完美；一些开放任务还需来源核验和真实用户验收。”

学生具体动作。 Q6 设计一条会骗过礼貌代理的新候选并说明漏洞。

教师在桌边怎样追问。 你的反例只是语气不同，还是确实违反关键任务？

本段要收集的证据。 可复查的失败例与缺失标准。

56—60 分钟｜离堂说清实际做过什么

教师可以这样说：“今天实际制作了示范、比较候选、运行透明的限定规则评分，没有训练语言模型或奖励模型。用这套材料理解 SFT 与偏好信号的作用，之后才能判断产品“对齐”宣传覆盖了哪些实际步骤。”

学生具体动作。 Q6 提交示范、比较理由、漏洞例及完成范围。

教师在桌边怎样追问。 评价器分数能否替代最终事实核验？

本段要收集的证据。 数据制作与真实训练边界。

教师的概念备查：先用上面的观察，再补准确说法

这部分供备课和讲评时查阅，不要求在第一分钟连续宣读。学生已经看到一个过程后，再用相应名称为过程命名。需要回答更深问题时，先说明小实验所固定的条件，避免从一个算例直接跳到所有大模型。

监督微调与助手示范

SFT是监督微调，在已有模型基础上使用任务或对话示范进一步训练参数。数据可包含系统要求、用户问题和理想助手回答，目标是提高期望回答在相应输入下的概率。它仍可使用下一Token预测损失，例如仅对助手回答的位置计算损失，因此预训练和SFT不是“文字接龙与完全不同算法”的简单分界。示范既能影响格式和指令遵循，也可能教授知识或技能，效果要通过评估确认。

可以补充的例子：输入给库存和借出数量，目标展示正确减法及简洁结论；不是只让模型复制“当然可以”这种口头禅。

应当停住的推论：几条课堂示范不足以完成可靠微调；不把SFT说成只改变外表且绝不学习新知识。

偏好数据与评价标准

当一个问题有多个可接受回答时，可以收集比较或排序，表达哪些回答在指定准则下更好。比较前要先定义标准，如计算正确、满足限制、信息完整、表达清楚，并把事实错误与个人文风偏好分开。标注员会有分歧，复杂任务也可能需要查资料；“选一个喜欢的”并不天然比写示范更准确或无需成本。保存选择及理由能帮助发现标准含糊或样本存在冲突。

可以补充的例子：问还剩几盏灯，简短正确回答优于热情但算错的回答；若两个都正确，可再按要求是否需要算式作比较。

应当停住的推论：人类多数喜欢不等于事实为真，不能以投票替代计算或证据。

RLHF的历史典型流程

一种经典语言模型RLHF流程先收集人类对候选回答的偏好，再训练奖励模型估计这类偏好，接着用强化学习优化生成策略以获得更高奖励，同时通常限制变化过大。这里奖励模型是偏好信号的近似，生成模型则是被优化的回答者，二者职责不同。这是InstructGPT论文中的重要范式，不是所有今天产品的固定配方。其他偏好优化方法可以采用不同流程，DPO便不要求按同样方式单独训练奖励模型。

可以补充的例子：排序样本说A优于B，奖励模型学习预测这样的相对偏好；以后新回答的高分来自模型估计，不是每次都有人逐字看过。

应当停住的推论：本课只做数据标注与流程纸面模拟，没有训练奖励模型或执行强化学习。

代理目标与独立核验

可计算的评分通常只是我们真实目标的近似。若评分过度奖励礼貌、长度或迎合，模型可能学会提高这些代理信号，却没有更准确地完成任务。得到更高奖励不能单独证明更有用或更诚实，因此仍需独立题、事实核验、失败样本和人工评估。用户指出错误时，助手应依据证据复算，而不是为了取悦用户立即接受错误说法。把这个边界讲清，才能理解对齐有帮助却不提供完美保证。

可以补充的例子：若代理分只看是否含“您好”与“很高兴”，热情的错误算式可能超过简洁正确答案；问题在评分与任务目标脱节。

应当停住的推论：不能凭一次道歉或改口断言某产品具体使用了哪种训练算法，行为由多种因素共同影响。

后置讲评：独立尝试结束后才展开

Q2 18−7+2=13，理想示范包含用户条件和“目前可用13盏，18-7+2=13。”。任务标准 A>C>B；C 数量对但漏算式，B 数量与算式均错。Q3 礼貌代理 B=2、A=C=0，B 排前并不表示任务质量好。

Q4 24−9+4=19，理想回答“19个，24-9+4=19。”。任务标准 D>F>E；礼貌代理 E=2、D=F=0。正确性不能用招呼词抵消。Q5 可答：按现有条件是19个，因为24-9+4=19；如果另补入1个才是20个。不应无据迎合。

Q6 任何含两礼貌词而算错或漏关键要求的候选均能暴露本代理漏洞，须指出具体缺失。SFT 用示范进一步训练，偏好比较提供排序信号；经典奖励建模与策略优化是不同步骤，并非所有系统采用同一种流程。本页仅规则计分和材料制作，没有训练奖励模型或生成模型。对不在整数式/数量表达识别范围内的回答，应人工复核，不能据自动匹配失败断言一切语义错误。

板书、补救与课后加深

• 用户任务与限制 → 一条理想示范。
• 候选比较：算对 → 满足要求 → 清楚简洁。
• 代理奖励 ≠ 真正目标；偏好数据 ≠ 已训练策略。

使用本页相同的输入、步骤与判定规则在纸上完成，必要时用普通计算器。保留预测、中间量和最后核对，注明实际完成的是纸面复算。没有外部 AI 调用，不把这项工作说成已经得到某个产品的真实效果。

比较SFT目标掩码与偏好成对损失，阅读DPO与带奖励模型的RLHF差异；做小型标注一致性实验，完整PPO、KL约束与训练工程待数学深度确认。 深化内容另计时间；先保证本课独立练习完成。

来源和实际完成范围

• AIPath 对应课：用作课序与主题对应。
• Ouyang et al.：Training language models to follow instructions with human feedback（2022）：核对历史 InstructGPT 的监督微调、偏好数据、奖励模型和强化学习步骤。
• Rafailov et al.：Direct Preference Optimization（2023）：说明偏好优化并非都需要单独训练奖励模型；仅列选学，不展开推导。

新增实验在浏览器本地计算，已用随课测试核对指定条件。纸面样本是为解释机制编写的，不是实际业务数据；未在此训练大模型，未做真人试教。