跳到正文
arXiv · ML· Wenfeng Wang, Xiaofeng Hou, Xinfeng Xia, Xinkai Wang, Mingxuan Zhang, Peng Tang, Jiacheng Liu, Chao Li·· 2026-10-21AI 评分28

Specter:基于量化启发的多步推测式卸载加速 MoE 推理

Specter: Fast MoE Inference via Quantization-Enabled Multi-Step Speculative Offloading

AI 导读

Specter 是一个结合量化与推测解码的 MoE 推理系统,专为解决专家卸载带来的 PCIe I/O 瓶颈而设计。在单请求推理场景下,该系统相比最先进系统实现了 1.50x(最高 1.88x)的平均 TPOT 加速。Specter 让受内存限制的单 GPU MoE 推理在普通硬件上更具实用性,代码已开源,论文被 ASPLOS 2027 接收。

来源:arXiv · ML · arxiv.org