arXiv · AI· Oana Balmau, Saurav Banka, Jiaxuan Chen, Anne-Marie Kermarrec, Ramya Narasimha Prabhu, Rafael Pires, Mathis Randl, Martijn de Vos·· 12 小时前AI 评分20
BubbleTea 利用 MoE 专家并行气泡加速微调
Harvesting Expert-Parallel Bubbles for Fine-Tuning
AI 导读
BubbleTea 首个利用 MoE 专家并行气泡进行微调的共置系统,相比 LLMStation 快 1.9–6.2 倍。 其编译器路径自动从服务 LLM 派生微调块,4 块 A100 GPU 上 p90 推理延迟保持良好。 突发负载下训练速度达普通训练器的 14 倍。
来源:arXiv · AI · arxiv.org