InstructGPT

第一步收集人类示范，SFT 学习给定 prompt 应怎样作答；第二步对同一 prompt 的多个模型回答排序，训练 reward model；第三步由当前策略生成新答案，通过 reward model 得分，用 PPO 更新策略。

偏好数据不是正确答案文本。 一条示范直接给可模仿序列；一个排序只告诉你相对选择；rollout 又来自正在变化的策略。把它们混成“instruction data”会漏掉系统最关键的分布差异。

这张图也解释了资源开销：policy 需要训练，reward model 需要打分，reference 用于约束偏移，value 估计帮助构造低方差优势。之后 DPO 与 GRPO 的贡献，恰好可以对照它们移除了哪一种角色。

可以把优化目标理解为提高 learned reward，同时通过 KL 惩罚限制策略偏离 reference。reward model 只在有限偏好数据上训练，策略若远离该分布，可能找到模型的盲点而不是用户喜欢的行为。

论文还观察到部分公共 NLP 能力回退，PPO-ptx 混合预训练分布的语言建模更新以缓解。行为对齐和基础能力保留需要同时评估，并不因为偏好胜率上升就全部解决。

这不是“PPO 天生让模型变笨”的结论。数据分布、目标权重和评测范围共同作用；应看同一实验里的对照，而非从个别任务概括一切。

标注者选择、任务分布和标注规则决定模型对齐的对象。论文讨论 held-out labeler 的泛化，但这并不能代表全部文化、专业领域和冲突价值下的偏好。

实践中至少记录 prompt 来源、候选生成模型、采样设置、排序规则和标注分歧。一个 reward model 可以在测试排序上准确，却在被策略反复优化后出现 reward hacking，因此需要 on-policy 审计。

继续读 DPO 时问“它是否省掉了显式 RM”，读 R1 时问“是否换成可验证结果”，读 MiMo 时问“评分系统为何又变得复杂”。这三条不是简单的新算法替代旧算法，而是不同监督条件下的路线。