跳到正文
arXiv · AI· InfraRSI Team, Yuchuan Tian, Haocheng Mei, Ye Yuan, Chao Xu, Boxun Li, Guohao Dai, Kai Han, Allen Chen, Yunhe Wang, Yu Wang·· 10 天前AI 评分30

InfraRSI:利用递归自我改进优化分布式 LLM 训练基础设施

InfraRSI: Harnessing Recursive Self-Improvement for Training Infrastructure

AI 导读

InfraRSI 通过五阶段智能体工作流将开放式人类指令转化为经验证的训练优化,在四项单节点及多节点 MoE 任务中实现最高 2.75 倍加速。 该框架通过全局执行时间与内存模型修正 LLM 先验,将平均 Model FLOPs Utilization 从 17.4% 提升至 30.0%,并跨硬件复用经验。

来源:arXiv · AI · arxiv.org