跳到正文
arXiv · ML· Pierre-Luc Bacon, Diego Calanzone, Jean-Maxime Larouche·· 7 天前AI 评分28

MoE 模型通过专家驱逐策略减少 CPU-GPU 传输:保持路由不变下的 L40S 实测

Fewer Expert Transfers Without Changing Routing: Expert Eviction for MoE Offloading

AI 导读

针对 MoE 模型的 CPU-GPU 专家传输瓶颈,提出了一种在不改变路由决策前提下的“未来最远驱逐”策略。 该策略在 OLMoE-1B-7B 模型及 L40S GPU 上实测显示,较 LRU 缓存减少 2.1 倍专家拷贝次数且无质量损失,需未来请求信息以发挥最大效用。

来源:arXiv · ML · arxiv.org