跳到正文
arXiv · NLP· Ruihang Lai, Hao Kang, Haozhan Tang, Akaash R. Parthasarathy, Zichun Yu, Junru Shao, Todd C. Mowry, Chenyan Xiong, Tianqi Chen·· 10 天前AI 评分44

PithTrain:一个紧凑且面向 Agent 的 MoE 训练系统

PithTrain: A Compact and Agent-Native MoE Training System

AI 导读

PithTrain 提出 ATE 维度并引入 ATE-Bench,在吞吐量上具备竞争力的同时实现更高 Agent 任务效率。 在新增功能任务上,PithTrain 比 Megatron-LM 少 62% Agent Turns,比 Megatron-LM 和 TorchTitan 分别少 44% 和 64% Active GPU Time。

来源:arXiv · NLP · arxiv.org