现代后训练：从示范到可学习的反馈

问题不是“接下来跑哪一个算法”

设想同一个基础模型：能写出正确函数，却不遵守返回格式；能遵守格式，却在难题上找不到解；能解单题，却不会在终端报错后修复。三个问题需要不同的反馈。把它们统称为“再做一轮 SFT”，会使数据量不断增长而瓶颈不动。

课程分析：后训练是选择、暴露、强化行为的组合过程。它依赖基础模型已有的表示和候选解分布，也可能通过反复探索形成新的求解策略。“只是解锁已有能力”与“可以凭空学会一切”都不足以指导实验。先测多样采样下是否曾出现正确解，再决定需要更好的选择器、更多探索，还是回到能力塑形阶段。

R1 技术报告描述冷启动数据、推理强化学习、拒绝采样与监督训练、进一步强化学习的阶段组合；该报告支持“后训练可以交替使用监督与反馈”，不能据此认定所有团队遵循相同顺序，也不能把公开权重视为完整训练代码。报告证据

先决定监督对象，再决定方法

这是一张课程分类表，不是宣称某一方法在所有任务上优于其他方法。过程监督的代表性论文比较了数学任务中的过程奖励与结果奖励；该实验不直接证明任意 Agent 中逐步奖励优于最终奖励。论文实验

SFT 的质量在张量形成之前决定

监督损失可写为：

$m$ 指明哪些 token 真正被监督。多轮工具轨迹里，用户消息与工具输出通常作为条件，模型回答和工具调用才是策略行为。若把一段测试日志当成模型应生成的答案训练，模型可能学会复述“测试通过”，而不是修复代码。损失 mask 与 attention mask 的语义必须分开。

课程分析：构建 SFT 数据至少经过来源许可检查、任务去重、可执行验证、格式验证、难度分桶和拆分泄漏检测。过滤器有误报与漏报，应抽样人工复核；质量评分更高不等于下游增益更高。按领域和难度分别报告接受率，否则一个“高质量”过滤器可能把少数语言或困难任务全部删除。

蒸馏有两种不同预算：离线序列蒸馏保存教师生成结果，再做交叉熵；分布蒸馏对齐教师概率分布，需要额外推理和词表对齐。对于公开模型案例，只有技术报告明确说明的蒸馏形式才可当作事实。R1 报告提供从其生成数据进行蒸馏的案例；本站不推断未公开的教师服务部署配置。报告证据

拒绝采样与 Best-of-N 为什么不同

对同一任务采样 $N$ 条候选，经验证器筛选。若只在当前请求中返回最优候选，是推理时选择；若把通过候选积累成训练集再更新参数，才是拒绝采样微调。两者共享生成和验证开销，但一个将成本支付在每次请求，一个将成本摊入后续模型。

在候选独立且单次成功率为 $p$ 的理想条件下，至少出现一个成功候选的概率是 $1-(1-p)^N$。这里的“出现”不等于“识别”：错误的 grader 可能从正确候选集合里仍选出错误结果。实际采样也常相关，因此不能把这个式子直接当作扩容收益承诺。

课程分析：只保留通过样本会改变任务分布。容易任务产出多、困难任务可能完全消失。要记录每个任务的尝试次数、成功次数、选择概率和教师版本，并设置任务级配额。没有这些分母，就无法区分“模型变强”与“数据变容易”。

从离线偏好转向在线反馈

离线 DPO 可以直接训练偏好对而不在每个优化步骤实时调用 reward model。它的理论依赖偏好模型和参考策略等条件，不是对任意数据都等价于理想 RL 的保证。DPO 论文

在线方案则定期或连续用当前策略生成候选、调用偏好标注器或验证器、更新策略。在线描述的是数据与当前策略的关系；使用 DPO 形式的损失并不自动意味着完全离线。新增系统成本包括生成服务、评分服务、版本追踪、样本队列和过期数据治理。

任务池：来源、难度、拆分标签
候选生成：policy / teacher 与采样预算
验证和偏好标注：结果、置信度、grader 版本
数据选择：SFT 示例 / 偏好对 / RL 轨迹
训练更新：loss mask、参考模型、优化器
独立评测：能力、行为、成本与退化
失败分析返回任务池

当工具执行、浏览器状态和多轮观察成为反馈的一部分，继续扩展的是这条数据链，而不仅是一个新的 loss。下一步阅读Agent 组成边界。

新一代路线：在线策略蒸馏接在什么位置

官方陈述，查阅于 2026-09-22：DeepSeek-V4.1-Flash 模型卡明确描述 SFT → RL → on-policy distillation，且称主要变化在 Agent 任务与环境自动合成的数据链，而非新的后训练算法。这里的证据是模型卡和报告，不是本站获得了其完整训练系统。当前案例

课程分析：离线蒸馏让学生拟合教师走过的轨迹；on-policy 蒸馏则让教师在学生实际到达的前缀上提供分布或反馈，直接覆盖学生自己的错误状态。示意目标可写为 $\mathbb E_{h\sim\pi_s}[D_{\rm KL}(\pi_s(\cdot|h)\|\pi_t(\cdot|h))]$，但 KL 方向、采样近似、教师组合与优化细节因实现而异；这个示意式不是对 DeepSeek 未公开实现的断言。

它新增 teacher inference 预算和学生 rollout 预算，还要求 teacher/student 对相同前缀、工具协议和 token 支持给出可比较信号。若只在“完美教师历史”中训练学生，学生实际犯错后可能没有被覆盖。MiMo-V2.6-Flash-RL 模型卡提出混合自主学生轨迹、教师前缀和 SFT 前缀的多教师蒸馏路线，可作为这一覆盖/成本权衡的新案例；仅凭模型卡不能补全其完整生产配置。官方模型卡

真实源码：看 batch，而不是只看 Trainer 名字

源码观察：在 TRL 的固定版本 b8721872beaf3e8b6e78b6c991f15682d17d86d2，文件 trl/trainer/dpo_trainer.py 中，DPOTrainer._compute_loss 读取 input_ids 与 completion_mask，错开 logits 和 labels 后取 token log probability，屏蔽非 completion token，再分出 chosen 与 rejected；参考 log probability 可以预计算，也可以由冻结参考模型计算。源码与版本

调用链是训练器 compute_loss → _compute_loss → model forward → masked log-prob reduction → preference objective。输入按 chosen、rejected 拼接，形状概念为 [2B, T]；输出是可微的标量损失，内部日志保留偏好相关统计。不要照搬旧博客里的 dpo_loss 方法名：本文版本的真实入口已经变化。

这条导读适合提出两个工程问题：参考 log-prob 缓存是否与 tokenizer、模板和截断配置一致？chosen 与 rejected 是否真的来自同一个任务与观察前缀？任一项错位都可能让 loss 正常下降而能力恶化。

最小实验与生产差异

在项目根目录运行：

python3 -m labs.run --experiment preference --seed 7
python3 -m unittest discover -s tests -p 'test_*.py' -v

教学实现用有限动作的概率分布计算偏好目标、解析导数与中心差分，观察一次更新如何改变相对概率。它没有加载语言模型，目的是把“数据 → 标量目标 → 参数梯度 → 行为分布”连起来。预期解析导数与差分接近，偏好目标沿正确方向改善；实际数值以命令输出为准。

生产模型还需要处理序列求和与长度偏差、混合精度、参考模型显存、分布式梯度聚合、训练/推理模板一致性。有限动作实验通过只能验证目标函数，不能证明长文本训练稳定。

如何发现路线选错了

工程任务：为一组代码修复任务设计 SFT、拒绝采样微调、在线 RL 三个等总预算实验。预算必须计入生成 token、测试 CPU 时间、训练 GPU 时间和标注成本。提交数据 schema、拆分规则、阶段停止条件、失败归因表。若三个实验的基础 checkpoint、任务分布或推理预算不同，不得把结果简单归因于训练算法。