THE INTERACTIVE WORKBENCHLIVE COMPUTATION
调整一个变量。
看见背后的机制。
浏览器里建立直觉，本地实验里验证假设。所有交互实时计算，无需 GPU 或 API 密钥。
PREFERENCE OPTIMIZATION
回到原理 偏好目标与参考策略
从 log probability margin 看 DPO 的真实更新方向。
L = −log σ[β(Δlog π − Δlog πref)]
rejected
chosen
隐式偏好概率55.0%
DPO loss0.5981
∂L / ∂margin-0.0900
梯度为负：梯度下降会增大 chosen 相对 rejected 的 margin。
这里没有独立 reward model，也没有在线采样 worker。
WHAT TO NOTICE
比较的是相对参考模型的偏好变化。
DPO 在本实验中的 margin = log π(y⁺|x) − log π(y⁻|x)。有效 logit 是 β(margin − reference margin)，因此参考模型也更偏好 chosen 时，当前策略必须进一步增加相对 margin。
β 既进入目标中的偏好 logit，也关联原始推导的 KL 权衡；在固定 logits 上提高 β 与重新训练后模型的偏离程度，是两个不同的问题。不要从一个静态曲线推断最终 KL。
继续到可运行的 Python 实验
python3 -m labs.run --experiment preference在项目根目录运行 · Python 3.10+ · 纯标准库 · 配置与预期输出见 labs/README.md
教学边界：这些是机制实验和离散事件模拟，不是完整 LLM 训练，也不代表任何模型或硬件的真实性能。