THE EVIDENCE REGISTER核验日期 · 2026.09.22
每个结论，都有来处。
从论述追到论文，从算法追到函数。固定源码版本，保留信息边界。
64 项可追溯来源 Open weight ≠ 完整训练过程开源
- CED与CSA2的结构说明
- 45T多模态预训练；SFT→RL→OPD与Agent数据环境建设
- 评测harness、上下文与采样预算
- §2.2 CED；§2.3 CSA2缓存与索引共享
- §2.3.2 首个indexer全范围检索，后续受候选池约束；在后训练引入
- §4预训练与§5数据/环境导向后训练
- source layer计算压缩KV，其他层读shared cache
- forward受torch.inference_mode装饰，不能冒充完整训练器
- KDA与Gated MLA混合、Attention Residuals、Stable LatentMoE
- 公开权重及1M上下文设计
- §2 KDA、AttnRes与latent MoE
- §3联合图文训练及cooldown长上下文curriculum
- §4 SFT→领域RL→多教师on-policy distillation；§5系统设计
- _apply_attn_res在深度候选上softmax并加权求和
- KDA训练使用chunk模式，单token缓存解码用fused_recurrent
- 视觉塔/projector接入KimiLinearForCausalLM，不是RL训练器
- QSA按micro-block稀疏选择；与Gated DeltaNet混合
- Gated Residual使用element-wise read gate与scalar write gate
- Muon/AdamW按参数组分配；本版本为实验架构预览
- 残差分支稀疏化在预训练指标与后训练生成上的不一致
- 矩阵参数、router、embedding等优化器选择有区别
- 稀疏注意力、残差、embedding和kernel联合分析
- Gated DeltaNet与Gated Attention的3:1层组成
- 本checkpoint为27B Dense；不同于Flash-Next的QSA/MoE/GR设计
- 官方声明与GLM-5.2使用同一base，变化来自post-training
- 模型卡公开多项harness、时限、采样及评测修订说明
- GLM-5家族公开训练研究；不能代表5.3版本所有改动已披露
- GRS与GAR区分通过测试的不同轨迹质量
- 多任务和多harness混合RL；MOPD2后续蒸馏
- §3两段预训练与agent-centric mid-training
- 256K→1M、隐藏矩阵AdamW→Muown与MXFP4 QAT
- §4.3 GRS离线rubric与GAR在线advantage redistribution
- 图像、视频、音频表示替换相应模态token位置
- 这是forward接口，不是报告中GRPO/GRS/GAR的训练实现
- 12B unified encoder-free结构直接处理模态输入
- Gemma4系列包含Dense/MoE与预训练/指令版本；版本级区别需单列
- Gemma4多种规模/架构与12B encoder-free多模态设计
- GPU SM/Tensor Core/HBM与线程块执行结构
- Profiler CPU/CUDA活动、shape与self/total时间解释
- program_id、load/store mask与kernel教学示例
- utilization.gpu是采样期间kernel执行时间占比，不是FLOP利用率
- AllReduce/AllGather/ReduceScatter/AlltoAll语义及rank调用一致性
- DCP模型及optimizer状态的分布式保存与加载
- QKV形状、autograd上下文、保存LSE与CUDA前后向调用
- 参数分片、forward all-gather、backward reduce-scatter与module hook生命周期
- 按有效标签统计 loss 分母
- token 微批拆分、反向传播与优化器分离
- 官方 7B 配置使用 8192 序列与约 4M token 全局批
- 恢复 trainer/optim state 并延长学习率计划
- 100B token 专门 mixture 与线性退火
- 保留 optimizer state，但不恢复 trainer state
- YaRN factor=8/old_context_len=8192
- document lengths 支持文档内 attention masking；context parallel degree=8
- target_ratio、max_repetition_ratio、max_source_fraction 是不同限制
- 可直接定位 YaRN factor/beta 与旧上下文长度参数
- Bloom filter 文档/段落去重入口
- 数据路径与配置校验是数据流水线的一部分
- top-k 分数、routing_map、capacity dropping 在此连接
- 辅助 loss 与 expert bias 控制需按实际配置区分
- 训练协调器连接 rollout、reward、advantage、actor update
- AgentLoopOutput 把 token、mask、logprob、轮数等转为训练数据
- 异步调用边界不等于自动保证策略新鲜度
- GRPO outcome reward 按 group index 归一化
- std 归一化为可配置选项，不应把实现变体混为一谈
- 真实入口为 _compute_loss，历史 dpo_loss 不存在于本快照
- policy/ref chosen-rejected log-prob 构建 sigmoid DPO
- scheduler 分配 token budget，而非仅按请求数 batching
- 运行/等待请求和 KV block 分配共同制约吞吐
- FAIL_TO_PASS 与 PASS_TO_PASS 共同参与结果判定
- 执行报告与任务是否真正解决必须分层理解
- agent step 管理模型调用、动作执行和轨迹更新
- harness 行为与 policy 参数能力需要分开评估
- 通过统一轨迹与训练/执行解耦支持多种 Agent 框架
- 明确区分 pretraining、midtraining 和长上下文阶段
- 报告了能力数据混合与阶段评测
- 晚阶段 Dolmino curriculum 与退火
- 稳定性和训练配方消融
- RoPE 频率分段缩放和 attention scaling 的长上下文方法
- 固定训练 FLOPs 下参数与 token 的联合预算问题；结论依赖实验范围
- IO-aware exact attention 减少 HBM 数据搬运，非取消二次 attention 算术
- DPO 由 KL 正则 reward 目标推导成成对偏好目标
- 数学 continued pretraining 与 GRPO 实验
- R1-Zero/R1 的公开训练阶段与蒸馏方法；非完整训练代码
- 数学任务上过程监督和结果监督的比较；不能直接外推浏览器长任务
- SFT、preference/reward model 与 PPO 的历史参照
- 动态计算图、saved tensors 与反向自动微分
- DTensor 分片参数、hook all-gather 与 reduce-scatter
- 三阶段预训练：通用、Reasoning、Long Context
- 实例级标签与代理模型的mixture消融；训练长度与推理长度分开
- MoE负载均衡、MTP与FP8的设计
- 细粒度量化和高精度累积；正式训练成本不包含前期研究消融
- 长上下文分阶段扩展
- Agentic数据合成与真实/合成环境联合RL
- 可验证奖励和self-critique rubric结合
- V1 sync/colocate_async/separate_async modes
- Partial rollout保留前缀且可跨policy版本
- staleness按group丢弃/等待策略