READING PATH 03 / Post-training从模仿答案，
到优化解决问题的方式。
从人类偏好到可验证奖励，再到在线蒸馏。读清楚每一步换了什么数据、目标和计算代价。
带着这个问题读奖励来自哪里，优化的是谁的分布，提升又该归因给谁？
THE READING ORDER7 篇 · 同一问题，不同解法
01建立 RLHF 参照系InstructGPT
OpenAI / 2022
区分示范、偏好排序和策略采样这三种数据。
不是用它概括今天全部后训练，而是用这张经典系统图建立参照，之后才看得懂 DPO、RLVR 和在线蒸馏删改了哪些部分。
离线偏好优化Direct Preference Optimization
Stanford / UC Berkeley 等 / 2023
沿公式推导，看奖励模型怎样被重参数化掉。
DPO 的推导短而关键。读清楚重参数化、reference 和数据支持范围，才能判断何时值得用离线偏好优化。
监督粒度Let’s Verify Step by Step
OpenAI / 2023
比较结果奖励与过程奖励，先看实验究竟测了什么。
这篇能建立 process supervision 的准确边界：先区分训练奖励模型、用它选答案与直接用它训练 policy。
可验证任务上的 RLDeepSeekMath
DeepSeek / 2024
GRPO 的组内基线与省掉 critic 的代价。
这篇不仅是 GRPO 原始论文，也是数据构建与领域继续训练如何为 RL 建立起点的直接案例。
推理能力与训练配方DeepSeek-R1
DeepSeek / 2025
R1-Zero 与 R1 为什么是两个不同的实验问题。
这篇是理解 reasoning RL 的关键转折；同时必须区分纯 RL 观察、多阶段产品配方和蒸馏结果。
整合专家策略Kimi K3
Moonshot AI / 2026
专家 RL、多教师在线蒸馏和量化感知训练。
K3 不只是 K2 的规模更新。它把混合注意力、层间信息流、专家压缩与部署感知后训练放在一起，适合和旧代逐项比较。
长轨迹蒸馏的接口MiMo-V2.6
Xiaomi MiMo / 2026
MOPD2 为什么需要前缀条件下的单轮采样。
这篇报告把中训练、真实环境、评分计算、训练稳定性和蒸馏连成了一条完整链路。适合作为 Agentic Post-Training 的主读本。
CONTINUE EXPLORING方法会迭代，
判断的方法会留下。
读完一篇，试着写下：作者改变了什么，固定了什么，证据支持到哪里。
下一条路线：Agentic RL