READING PATH 05 / Kernels & systems论文里的 FLOPs,
怎样变成卡上的时间?
从 HBM 与 SRAM 到多卡通信,再到 rollout 调度。每篇都回答一个真实的瓶颈在哪里。
带着这个问题读GPU 是在算、在搬数据、在等通信,还是在等环境?
THE READING ORDER6 篇 · 同一问题,不同解法
01先看一张卡FlashAttention
Stanford 等 / 2022
不改变精确注意力,为什么减少 IO 就能更快。
这是从理论进入 GPU 的最好入口之一。重点是 IO 与算子调度,随后再读新版本 kernel 或新架构。
02再看多卡集群DeepSeek-V3
DeepSeek / 2024 / v2
2048 张 H800 如何组织 EP、PP 与通信重叠。
虽然不是最新代,V3 的公开系统细节仍是读新架构的好底座:路由、FP8、并行和部署都有可定位的说明。
03显存与带宽一起算Kimi K3
Moonshot AI / 2026
流水线不同阶段怎样安排计算、通信与 offload。
K3 不只是 K2 的规模更新。它把混合注意力、层间信息流、专家压缩与部署感知后训练放在一起,适合和旧代逐项比较。
04算法反过来约束系统Qwen3.8-Flash-Next
Qwen / 2026
矩阵优化器如何跨分片恢复完整算子,以及小 kernel 的开销。
这是一份架构与消融报告,不是假装完整披露全部后训练。它同时观察 loss、下游评测、效率和稳定性,尤其适合学习怎样做训练决策。
05训练时间被谁决定GLM-5
Z.ai / 智谱 / 2026
PD 分离和 MTP 为什么对 rollout 长尾格外有价值。
这里选 GLM-5 技术报告,因其训练阶段和异步 RL 细节充分;不把它冒充更新版本 GLM-5.3 的完整训练披露。
06看完整 RL 工厂MiMo-V2.6
Xiaomi MiMo / 2026
Trainer、Rollout、Grader 三种计算的吞吐协调。
这篇报告把中训练、真实环境、评分计算、训练稳定性和蒸馏连成了一条完整链路。适合作为 Agentic Post-Training 的主读本。
CONTINUE EXPLORING方法会迭代,
判断的方法会留下。
读完一篇,试着写下:作者改变了什么,固定了什么,证据支持到哪里。
下一条路线:预训练