arXiv · AI· Emile Anand, Mohammed Rehan Parwani, Xinyuan Cao·· 4 小时前AI 评分33
自适应多 token 预测：该走多远？
Adaptive Multi-Token Prediction: How far should we go?
AI 导读
自适应多 token 预测（AMTP）方法将解码速度最高提升 4.1 倍，且在 10 种设置中的 8 种匹配或超越固定窗口性能。 该方法基于 Llama-3.1-8B-Instruct、Medusa 头及 Qwen3-4B-Inst-2507-MTP 构建，在 AIME 2025 和 GSM8K 上评估，吞吐量最高提升 10%。
来源：arXiv · AI · arxiv.org