正在展开内容…
浏览器里建立直觉,本地实验里验证假设。所有交互实时计算,无需 GPU 或 API 密钥。
改变训练分布,观察两个任务之间的能力权衡。
教学模型只有一个参数 θ。通用任务希望 θ = 0,领域任务希望 θ = 2:L = (1−p)θ² + p(θ−2)²,最优 θ = 2p。这是刻意构造的冲突任务,不是语言模型能力预测器。
提高领域数据占比,领域误差下降、通用误差上升。真实中训练需要保留集评测与 replay 来判断遗忘,而不能只盯新领域 loss。Python 实验进一步运行分阶段 SGD。
python3 -m labs.run --experiment mixture在项目根目录运行 · Python 3.10+ · 纯标准库 · 配置与预期输出见 labs/README.md
教学边界:这些是机制实验和离散事件模拟,不是完整 LLM 训练,也不代表任何模型或硬件的真实性能。