读懂最新模型：从代际变化回到训练机制

拿到一个新模型，先定位它改变了哪条成本曲线

本章使用 2026-09-22 核验的 DeepSeek-V4.1-Flash、Kimi K3、Qwen3.8-Flash-Next、GLM-5.3、MiMo-V2.6 与 Gemma4 资料。它们的价值是提供不同工程问题的真实答案。模型卡、完整报告和实际代码分别登记，固定版本见 技术演进地图。

课程分析：先画一张四轴图——能力数据、优化信号、计算结构、部署负载。看到新名词时问它改变了哪一轴、代价转移到哪一轴。一个 gate 可能控制时间上的记忆衰减，也可能控制层间信息流或专家选择；把三者都理解成“注意力改进”会丢掉真正的设计。

五条跨代问题线索

表中是问题映射，不是性能排行。每项结论的可见程度不同：报告能解释设计动机，推理源码能确认运行结构，完整训练配方则需要训练器、数据与日志。

序列轴：压缩KV、复用索引和递归state是不同路线

DeepSeek-V4.1 报告的 CED 让 decoder 的全局 KV 从最终 encoder 表示投影得到；CSA2 又将层划分为 Full、Reindex、Reuse，分别决定是否生成新KV、是否重新索引。固定候选池限制的是后续 indexer 的搜索范围，首次扫描仍看全范围。尤其要留意：Hierarchical Sparse Indexer 在后训练中引入，训练和推理使用一致候选限制。官方报告 §2.2–2.3

课程分析：这并不意味着整模型复杂度从此与长度无关。你要把 KV 字节、首次扫描、后续检索、局部窗口和专家计算分开计账。稀疏化省掉的算术有时被不规则访存或额外索引抵消，所以必须同时测 kernel 时间和端到端 token/s。

Kimi K3 的混合结构在 KDA 层维护递归状态，在其他层保留全局注意力路径。官方代码 KimiDeltaAttention.forward 在训练选择 chunk 模式，单token缓存解码可进入 fused recurrent 模式。源码 课程分析：固定大小state压缩历史与显式缓存历史的误差模式不同；应分别测顺序依赖、远距离精确复制、前缀复用和截断恢复。

深度轴：为什么普通残差直觉不再够用

标准残差写作 $h_{l+1}=h_l+f_l(h_l)$，较早信息通过累积传到后层。AttnRes 让当前层对先前表示做数据相关加权。Kimi 固定代码的 _apply_attn_res 收到 prefix_sum [T,H] 和 block_residual [T,N,H]，拼接候选后按归一化键计算分数，在 block维度 softmax，再加权得到 [T,H]。源码与精确片段

一份对应的教学表达是 $\alpha_{t,i}=\mathrm{softmax}_i\big(w^\top\mathrm{RMSNorm}(v_{t,i})\big),\qquad h_t=\sum_i\alpha_{t,i}v_{t,i}.$ 这里 $i$ 代表深度候选，不是时间位置，也不是专家。Block AttnRes 将部分层输出聚合成块，减少需保存的状态。论文机制 课程分析：从单卡扩到pipeline parallel时，额外深度状态的驻留与跨stage传输可能改变原本合适的分层边界。

Qwen3.8 Flash-Next 的 Gated Residual 使用加宽残差流上的 read/write gate；它与 KDA 的 forget gate、MoE router 不在同一位置。官方模型卡 课程建议：读任意 gate，必须先写它的shape、归一化轴、输出用于选择还是加权，以及它在反向传播中接收哪项loss的梯度。

一个关键失败实验：预训练看不出的后训练退步

Qwen3.8 Next 报告记录一种残差分支稀疏化尝试：预训练 loss 与若干基准几乎不变，但后训练后的生成质量明显下降，因此没有采用。报告的失败消融

课程分析：这是为什么架构选择不能在base checkpoint的少量指标上结束。后训练可能需要尚未被现有评测激活的表示灵活性；也可能只是训练分布与输出要求发生改变。报告的观察本身不能证明唯一原因，但足以要求做“同架构变体 → 相同SFT/RL预算 → 相同生成预算”的接口测试。

架构／数据候选A与B
相同pretraining预算和多域评测
相同midtraining能力塑形
相同SFT／RL数据与计算预算
固定harness、生成token与验证器
比较最终成功率、成本和失败簇

“预训练效果相同”与“后训练可塑性相同”是两个需要不同实验支持的命题。这个检查也适用于量化、长上下文缩放和MoE容量调整。

优化器与阶段轴：最新中训练包含系统准备

MiMo-V2.6 的 §3 明确描述 agent-centric mid-training：从 256K 扩展到 1M，把隐藏矩阵切换到 Muown，而 embedding、head、router 保留 AdamW，并在中训练使用 MXFP4 QAT。官方报告 这些是该配方的公开事实，不能自动推广成其他模型最佳实践。

课程分析：这里的中训练承担三种接口准备。任务轨迹改善RL探索起点；长上下文让任务状态容纳得下；优化器与量化适配则让后续大批RL/推理成本可承受。若只看数据名称，你会漏掉后两项。反过来，报告观察到稳定不代表任何AdamW checkpoint都能无损切换优化器。

Qwen3.8 Next 报告也按参数类别分配优化器，而不是把所有二维矩阵一律交给Muon。优化器分析 这提示一个可迁移读法：先检查参数语义和矩阵形状，再检查fused参数如何切分；router输出维对应专家分数，与共享表示投影的结构并不相同。

行为与奖励轴：同base和同算法都不意味着同能力

GLM-5.3 官方模型卡声明沿用 GLM-5.2 的base，变化来自后训练；其评测脚注还详细列出harness、时限及任务修订。官方模型卡 这为研究增益位置提供了依据，但没有公开的RL数据比例、具体奖励权重不能由该声明补齐。

DeepSeek-V4.1 报告将后训练收益重点归于任务和环境数据工程；MiMo-V2.6 则提供 GRS/GAR 的奖励细化设计。V4.1 §5 MiMo §4.3 课程分析：优化算法、训练任务分布和反馈质量是可分开的变量。相同GRPO名字可能包着截然不同的可探索任务；相同通过率也可能掩盖不同的解题质量与路径成本。

把这层问题带回 奖励与验证器：测试通过以后能否分辨解决方案质量？奖励排名是否稳定？隐藏测试是否与训练grader独立？环境构造是否泄漏参考解答？一张高分表不能代替这些接口证据。

从真实源码判断你到底看到了什么

DeepSeek源码 Kimi源码 MiMo源码

特别是 V4.1 的 Transformer.forward 受 torch.inference_mode() 装饰；它是公开推理路径。MiMo的模型文件即使支持loss，也没有因此包含报告中完整异步RL系统。这种边界意识比搜到一个与论文同名的class更重要。

公开性需要按版本、文件和产物分别记录

Qwen3.8-27B 与 Flash-Next 的许可证不同；MiMo模型卡写MIT，其 modeling_mimo_v2.py 文件头写Apache-2.0；Kimi的文件头区分继承代码与自有部分。来源页保留原始链接和逐项记录。Dense分支 Flash-Next分支 MiMo源码

Gemma4-12B Unified 则提供一个海外设计对照：官方说明该分支采用encoder-free多模态接口，适合从数据输入与部署约束重新思考架构。官方模型卡 报告v2 不同尺寸和分支有不同模态支持，不能把家族功能直接复制成每个checkpoint的能力。

工程判断需要分清：权重可获取、推理代码可读、后训练代码可运行、训练数据可重建、报告足够详细，是五件不同的事。许可条款提到“training code”也不证明对应训练代码已经发布；必须找到实际文件和运行入口。

可运行的成本直觉与源码任务

python3 -m labs.run --experiment moe --seed 7
python3 -m labs.run --experiment rollout --seed 7

前者观察路由容量与负载，后者观察长短任务、队列与policy lag。这两个CPU机制实验无法实测这些大型模型的kernel或能力，但能检验你从报告推导出的系统因果方向。若假设一种架构减少每次推理服务时间，rollout瓶颈是否会转移到环境或grader？不要把“模型更快”直接换算成“训练同比例更快”。

源码练习：在固定K3文件定位 _apply_attn_res，写出softmax轴和候选张量shape；在V4.1定位 _compress_kv，区分source与consumer；在MiMo文件确认模态token替换。交付一张调用图，给每条边标上张量/状态大小、生命周期、所属worker和是否需要梯度。

研究任务：选择一个新的发布，提出可证伪的假设——它降低哪项成本，在哪类任务可能失败，最小消融怎样区分算法收益与数据收益。列出报告事实、源码确认、课程推断、未知四列，并为每个未知写出需要向上游寻找的具体证据。完成这一步，你就有了面对下一代模型时可复用的阅读方法。