研究提出自适应多token预测加速LLM解码

2026年10月，研究者Emile Anand等人提出自适应多token预测（AMTP）方法，将解码速度最高提升4.1倍，在10种设置中的8种匹配或超越固定窗口性能，吞吐量最高提升10%。 该实验基于Llama-3.1-8B-Instruct、Medusa头及Qwen3-4B-Inst-2507-MTP构建，在AIME 2025和GSM8K基准上完成评估，核心思路是将预测窗口的选择建模为在线控制问题，依赖验证反馈动态决定当前上下文中草稿的可信长度。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。