arXiv · ML· Byeongju Kim, Hoonki Lee, Byungjun Kim, Inyul Ra, Yongjin Kim, Yongseong Lee, Sangyeob Kim·· 3 天前AI 评分42
CECAR:缓存与专家协同感知路由加速MoE LLM端侧推理
CECAR: Cache & Expert Co-Aware Routing Accelerates On-Device Inference of MoE LLMs
AI 导读
CECAR通过联合考虑专家路由与缓存管理,在16GB显存的消费级GPU上运行Qwen3-30B-A3B模型,实现12.5 tokens/s的推理速度。 该系统利用ML-based缓存策略预测专家重用距离,优先调度距离较短的专家,非驻留专家从SSD获取,较传统MoE推理提速4.5倍,超越完全驻留DRAM基线。 论文已被NeurIPS 2026接收,代码已开源。
来源:arXiv · ML · arxiv.org