arXiv · AI· Abhishek Malvankar, Paul Castro, Nick Mitchell, Lionel Villard·2026-10-30 12:00· 6 小时前AI 评分36

TableTune 动态调整投机解码草稿长度

TableTune: Measured, Self-Correcting Draft-Length Tables for Dynamic Speculative Decoding

AI 导读

TableTune 通过测量和调整 LLM 投机解码中的草稿长度，在 H100 上实现了最高 94% 的最佳固定草稿长度吞吐量。它能在服务过程中实时追踪猜词接受率并重建草稿长度表。在 Qwen3-32B 双副本部署中，其吞吐量比 vLLM 默认表高出 25%。

来源：arXiv · AI · arxiv.org