READING PATH 01 / Pre-training模型的能力，
从什么地方长出来？
沿着计算预算、数据配方、稀疏架构与训练稳定性，读懂基础模型是怎样炼成的。
带着这个问题读固定一笔算力预算，应该增加参数、增加数据，还是改变计算方式？
READ THE RECIPE, STAGE BY STAGE把阶段拆开，
变化就看得见了。
选择一份报告，再点一个阶段。对照数据、长度和优化设置，找出变化发生在哪里。
CONTEXT / OBJECTIVE4,096继续语言建模
- 训练数据
- 增加 STEM、代码、推理与合成数据的比例。
- 优化与切换
- 加快学习率衰减；仍使用与 S1 相同的上下文长度。
名字里有 Reasoning，但这里不是 reasoning RL；监督仍来自训练序列。
THE READING ORDER6 篇 · 同一问题，不同解法
01建立基线Chinchilla
Google DeepMind / 2022
固定 FLOPs，寻找参数与 token 的最优分配。
它提供后续所有预算讨论的参照，但不是今天每个部署场景都必须遵守的参数/token 比例。
从公式到集群DeepSeek-V3
DeepSeek / 2024 / v2
将稀疏计算、数据与 FP8 组成真正可训练的系统。
虽然不是最新代，V3 的公开系统细节仍是读新架构的好底座：路由、FP8、并行和部署都有可定位的说明。
从静态配比到分阶段训练Qwen3
Qwen / 2025
实例级数据标注与三个训练阶段如何相互配合。
Qwen3 的三阶段预训练和两条后训练路径公开得很清楚，是学习 pre / mid / post 接口的关键参照。
重新设计计算方式Kimi K3
Moonshot AI / 2026
混合注意力与数据配方如何改变 scaling 曲线。
K3 不只是 K2 的规模更新。它把混合注意力、层间信息流、专家压缩与部署感知后训练放在一起，适合和旧代逐项比较。
训练与服务共同设计DeepSeek-V4.1
DeepSeek / 2026
长上下文、检索式记忆与编码解码分工。
它展示了架构与服务共同设计的前沿，同时明确声明后训练重点在数据和环境，适合纠正“每代进步都来自新 RL 算法”的直觉。
读懂负面实验Qwen3.8-Flash-Next
Qwen / 2026
同样叫 Muon，哪些矩阵用、怎么分片、为什么会失败？
这是一份架构与消融报告，不是假装完整披露全部后训练。它同时观察 loss、下游评测、效率和稳定性，尤其适合学习怎样做训练决策。
CONTINUE EXPLORING方法会迭代，
判断的方法会留下。
读完一篇，试着写下：作者改变了什么，固定了什么，证据支持到哪里。
下一条路线：中训练