跳到正文
arXiv · ML· Fengyuan Liu, Jay Gala, Siva Reddy, Dzmitry Bahdanau·· 2 天前AI 评分35

EchoMoE:通过激活压缩实现高效专家并行

Communicate the Change: Efficient Expert Parallelism via Activation Compression

AI 导读

提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。

来源:arXiv · ML · arxiv.org