跳到正文
arXiv · ML· Manvi Jha, Zach Zhang, Zhichao Xu, Linbo Liu, Sai Muralidhar Jayanthi, Vinayak Arannil·· 2026-10-07AI 评分35

APEX 通过智能选择推测策略实现最高 5.24X 加速

APEX: Speculate smarter, not deeper

AI 导读

APEX 引入学习型控制器,在 vLLM 中结合 Qwen3-8B 评测,实现最高 5.24X 加速。 该控制器通过专家选择和深度自适应,在 APEX-S 达到 4.27X 速度时平衡吞吐量与浪费 token。 APEX-B 在 3.27X 加速下,较固定 n-gram 策略减少 41.0% 浪费 token。

来源:arXiv · ML · arxiv.org