THE INTERACTIVE WORKBENCHLIVE COMPUTATION
调整一个变量。
看见背后的机制。
浏览器里建立直觉，本地实验里验证假设。所有交互实时计算，无需 GPU 或 API 密钥。
EVALUATION
回到原理 pass@k 不等于单次成功率
在固定样本中计算无偏估计，理解采样预算。
同一任务，在不同采样预算下的估计
pass@120.0%
pass@571.8%
评测预算倍数5×
WHAT TO NOTICE
更多尝试可以提高“至少成功一次”，不能替代 pass@1。
给定 n 个独立采样、c 个正确，pass@k 的组合估计为 1 − C(n−c,k) / C(n,k)，要求 n ≥ k。多个任务应先分别估计，再做任务级平均。
曲线来自当前这一个任务的样本；不是新模型的泛化置信区间。浏览器展示组合公式，Python 实验提供任务级 bootstrap 和去重/污染检查。评测预算、采样温度、harness 和 verifier 都必须记录。
继续到可运行的 Python 实验
python3 -m labs.run --experiment evaluation在项目根目录运行 · Python 3.10+ · 纯标准库 · 配置与预期输出见 labs/README.md
教学边界：这些是机制实验和离散事件模拟，不是完整 LLM 训练，也不代表任何模型或硬件的真实性能。