arXiv · ML· Wentao Ni, Chihao Yu, Hong Cai, Mingu Lee, Hejia Zhang, Fatih Porikli, Jishen Zhao·· 8 小时前AI 评分28
RankLane 实现 MoE 模型在加速器上的高效预填充
RankLane: Efficient MoE Prefill on Accelerators with Ranked Expert Capacities
AI 导读
RankLane 通过按当前负载对专家排序并分配至固定容量通道，解决了静态执行计划中专家容量浪费或溢出的问题。 该方法在 Qwen3-30B-A3B 和 Gemma 4 26B-A4B 上实现 1.27-4.18x 和 1.93-3.46x 的预填充加速，支持溢出检测与自动恢复。
来源：arXiv · ML · arxiv.org