arXiv · ML· Xuting Liu, Daniel Alexander, Jiaheng Lu, Siva Kesava Reddy Kakarla, Behnaz Arzani, Vincent Liu·· 7 天前AI 评分33
DREX 实现正确的批处理早期退出 LLM 推理
Batched Early-Exit LLM Inference Done Right with DREX
AI 导读
DREX 提出批处理早期退出 LLM 推理系统,通过跨迭代批处理避免强制 token 提前退出。 采用 vLLM 异步调度,结合推测持有策略。在 Llama-2-70B 上实现 2.22-2.24 倍解码加速,速度优势比 EAGLE 高 9-63%。
来源:arXiv · ML · arxiv.org