arXiv · AI· Anshu Raina, Peyman Razaghi, Yuankai Chen, Cheng Yao, Yao Fu, Vidushi Goyal, Devang Patel, Wen Xie, Zhenyu Gu, Emad Barsoum·· 2026-10-15AI 评分40
Primus Projection 和 Primus Tuning Agent 实现分布式 LLM 训练自动调优
Beyond the Trial-and-Error Loop: Hybrid Projection and Automated Tuning for Distributed Training
AI 导读
Primus Projection 引擎通过混合投影和自动调优,将分布式 LLM 训练配置搜索效率提升 10 倍以上。 在 Llama 3.1 和 Mixtral 8x22B 上验证,DeepSeek V3 671B 在 1024 GPU 上预测误差仅 4.7%,Mixtral 8x22B 吞吐量提升 27%。 该方案于 NeurIPS 2026 被接收,解决了多节点试错的高 GPU 成本问题。
来源:arXiv · AI · arxiv.org