arXiv · ML· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·· 2026-10-07AI 评分35
APEX 通过智能选择推测策略实现最高 5.24X 加速
APEX: Speculate smarter, not deeper
AI 导读
APEX 引入学习型控制器,在 vLLM 中结合 Qwen3-8B 评测,实现最高 5.24X 加速。 该控制器通过专家选择和深度自适应,在 APEX-S 达到 4.27X 速度时平衡吞吐量与浪费 token。 APEX-B 在 3.27X 加速下,较固定 n-gram 策略减少 41.0% 浪费 token。
来源:arXiv · ML · arxiv.org