Ai2 发布 Olmo-core 3，重写开放 MoE 训练栈，让专家常驻 GPU，并用数据并行、张量并行、流水线并行与专家并行共同扩展。作者在 512 张 NVIDIA B300 上运行了 1.2T 参数、每 token 激活 58.36B 参数的配置。代码完全开放；性能数字来自随机路由、短时测量，不代表持续训练吞吐。
Ai2 开源万亿参数 MoE 训练栈 Olmo-core 3
2026-10-01已核实动态TRIAL
Ai2 发布 Olmo-core 3，重写开放 MoE 训练栈，让专家常驻 GPU，并用数据并行、张量并行、流水线并行与专家并行共同扩展。作者在 512 张 NVIDIA B300 上运行了 1.2T 参数、每 token 激活 58.36B 参数的配置。代码完全开放；性能数字来自随机路由、短时测量，不代表持续训练吞吐。
对你意味着什么
对训练自有 MoE 的团队来说，这提供了可检查、可改造的超大规模参考实现，不必只依赖厂商私有栈。先在 8–32 张现有 GPU 上验证路由均衡、checkpoint 恢复、通信占比和持续吞吐，再考虑扩大规模。
证据与关联材料
技术细节与六维评分
| 架构 | 基于 DDP 的 MoE 栈，组合专家、张量与流水线并行 |
|---|---|
| 最大测试 | 1.2T 总参数、每 token 激活 58.36B 参数、512 张 NVIDIA B300 |
| 峰值 | 短时随机路由测试为 858 TFLOP/s/GPU |
| 专家扩展 | 8 增至 128 个专家，每 token 选 4 个；单项测试总容量从 6B 增至 47B，吞吐下降不足 5% |
| 精度 | 支持 MXFP8 |
| 许可证 | Apache-2.0 代码 |
技术影响 4
工程价值 4
采用信号 2
成熟度 3
验证成本 5
风险 3