arXiv · ML· Fengyuan Liu, Jay Gala, Siva Reddy, Dzmitry Bahdanau·· 2 天前AI 评分35
EchoMoE:通过激活压缩实现高效专家并行
Communicate the Change: Efficient Expert Parallelism via Activation Compression
AI 导读
提出轻量级架构修改EchoMoE,通过传输压缩差异替代完整隐藏状态,将MoE模型跨节点通信量减少58%,吞吐量提升22.6%。 该方法仅需约8500倍少于全预训练的token进行微调,支持量化通信且对vLLM有推理集成,18个基准测试平均性能损失控制在3.8个百分点内。
来源:arXiv · ML · arxiv.org