Olmo-core TRIAL
Olmo-core 3 是少见的开放万亿参数 MoE 训练参考栈,代码和设计都可检查。公开吞吐是短时随机路由结果,团队应先在较小集群验证持续训练行为。
建议动作先在 8–32 张现有 GPU 上验证路由均衡、checkpoint 恢复、通信占比和持续吞吐。
Olmo-core 3 是少见的开放万亿参数 MoE 训练参考栈,代码和设计都可检查。公开吞吐是短时随机路由结果,团队应先在较小集群验证持续训练行为。
建议动作先在 8–32 张现有 GPU 上验证路由均衡、checkpoint 恢复、通信占比和持续吞吐。