OLMo-core 3

面向大型 MoE 模型的开放训练框架

OLMo-core 3 是 Ai2 推出的开源大规模 MoE 训练框架，作为新一代 OLMo 的基础设施重新设计了混合专家模型的训练流程，原生支持分布式数据并行、行级专家并行、GPU 驻留路由和 MXFP8 精度。基准测试中，470 亿参数的 MoE 模型可达每秒 52,000 tokens/GPU 的吞吐量，约为此前 FSDP 方案的 2.7 倍。相关代码与技术报告已在 GitHub 开源。