THE INTERACTIVE WORKBENCHLIVE COMPUTATION
调整一个变量。
看见背后的机制。
浏览器里建立直觉，本地实验里验证假设。所有交互实时计算，无需 GPU 或 API 密钥。
AGENT TRAJECTORY
回到原理 一条轨迹，哪些 token 被训练？
区分策略动作、工具观测、终止条件与奖励。
STEP 01 / 07
任务
跟踪每次状态变化，检查哪一段数据进入训练目标。
TRAJECTORY / 单条轨迹LOSS MASK
任务
读取环境中的两个数，使用 add 工具得到它们的和。—策略动作
等待上一步完成…·环境观测
等待上一步完成…·策略动作
等待上一步完成…·环境观测
等待上一步完成…·最终响应
等待上一步完成…·独立验证
等待上一步完成…·等待环境 / 策略完成下一步…
WHAT TO NOTICE
工具输出参与上下文，却不应被当作策略动作优化。
环境返回的 42 改变下一步条件分布，但它不是策略采样出来的动作。教学轨迹用 response mask = 0 排除其直接策略损失；assistant token 的 mask = 1。真实实现还必须处理截断、attention mask、position 和每步行为策略 log-prob。
打开“弱验证器”会暴露只检查是否包含数字的漏洞：回答 999 也可能获奖。成功的环境交互和可信的奖励是两套必须分别验证的逻辑。此浏览器轨迹用于分步讲解；Python 实验包含真正学习的有限策略。
继续到可运行的 Python 实验
python3 -m labs.run --experiment agent在项目根目录运行 · Python 3.10+ · 纯标准库 · 配置与预期输出见 labs/README.md
教学边界：这些是机制实验和离散事件模拟，不是完整 LLM 训练，也不代表任何模型或硬件的真实性能。