THE INTERACTIVE WORKBENCHLIVE COMPUTATION
调整一个变量。
看见背后的机制。
浏览器里建立直觉，本地实验里验证假设。所有交互实时计算，无需 GPU 或 API 密钥。
EXPERT ROUTING
回到原理 MoE 路由压力台
制造专家热点，观察容量上限与 token 丢弃。
Top-2 · 8 experts · 64 tokens
固定确定性分数，拖动参数可复现。
EXPERT TOKEN LOAD容量 20 / expert
超容量分配8 / 128
最大负载 / 均值1.75
实际接收120
WHAT TO NOTICE
路由不均衡，会把稀疏计算变成通信与容量问题。
64 个 token，各选择 2 个专家，共 128 次分配。每个专家容量 C = ceil(capacity factor × 128 / 8)。给 Expert 0 的分数加偏置后，更多 token 涌向同一个专家。
本实验采用超容量丢弃来展示损失，不是 dropless 调度。生产中还要区分辅助负载均衡损失、路由 bias 更新、专家并行 all-to-all、padding 与 grouped GEMM 的不同代价。
继续到可运行的 Python 实验
python3 -m labs.run --experiment moe在项目根目录运行 · Python 3.10+ · 纯标准库 · 配置与预期输出见 labs/README.md
教学边界：这些是机制实验和离散事件模拟，不是完整 LLM 训练，也不代表任何模型或硬件的真实性能。