READING PATH 02 / Mid-training从通用底座,
走向下一阶段的能力。
不是每个团队都叫它 Mid-Training。把报告中的数据、上下文和优化器切换放在一起,理解能力塑形。
带着这个问题读什么能力需要先写入模型,才值得用昂贵的 RL 去探索?
READ THE RECIPE, STAGE BY STAGE把阶段拆开,
变化就看得见了。
选择一份报告,再点一个阶段。对照数据、长度和优化设置,找出变化发生在哪里。
CONTEXT / OBJECTIVE4,096继续语言建模
- 训练数据
- 增加 STEM、代码、推理与合成数据的比例。
- 优化与切换
- 加快学习率衰减;仍使用与 S1 相同的上下文长度。
名字里有 Reasoning,但这里不是 reasoning RL;监督仍来自训练序列。
阶段顺序示意 · 宽度不表示 token 数或计算量THE READING ORDER5 篇 · 同一问题,不同解法
01报告称之为 S2 / Long Context Stage;我们为何将它们对照中训练。
Qwen3 的三阶段预训练和两条后训练路径公开得很清楚,是学习 pre / mid / post 接口的关键参照。
02把仓库放进上下文GLM-5
Z.ai / 智谱 / 2026
32K → 128K → 200K 与软件工程数据同步扩展。
这里选 GLM-5 技术报告,因其训练阶段和异步 RL 细节充分;不把它冒充更新版本 GLM-5.3 的完整训练披露。
03逐项对齐训练阶段Kimi K3
Moonshot AI / 2026
预训练的 context extension 与 cooldown,和后训练 QAT 分别发生在哪。
K3 不只是 K2 的规模更新。它把混合注意力、层间信息流、专家压缩与部署感知后训练放在一起,适合和旧代逐项比较。
04直接连接后训练MiMo-V2.6
Xiaomi MiMo / 2026
Agent 轨迹、Muon 变体和 MXFP4 怎样为大 batch RL 做准备。
这篇报告把中训练、真实环境、评分计算、训练稳定性和蒸馏连成了一条完整链路。适合作为 Agentic Post-Training 的主读本。
05检验阶段接口Qwen3.8-Flash-Next
Qwen / 2026
预训练 loss 近似不变,为什么后训练能力可能受损。
这是一份架构与消融报告,不是假装完整披露全部后训练。它同时观察 loss、下游评测、效率和稳定性,尤其适合学习怎样做训练决策。
CONTINUE EXPLORING方法会迭代,
判断的方法会留下。
读完一篇,试着写下:作者改变了什么,固定了什么,证据支持到哪里。
下一条路线:后训练