arXiv · ML· Aref Jafari, Vansh Bhatia, Matt Qin, Subhajit Dutta Chowdhury, Ben Lee, Vikram Appia, Ali Ghodsi, Mehdi Rezagholizadeh·· 2026-10-16AI 评分22
长上下文推测解码无需专门训练的长上下文起草模型
Long-Context Drafting Does Not Require Long-Context Drafters
AI 导读
研究表明,冻结已发布的短上下文起草模型(drafter)即可在超长上下文场景下实现有效的推测解码加速,无需重新训练或微调。 核心机制包含限制注意力缓存范围和重新校准旋转位置索引(rotary position indices)两项推理时技术。
来源:arXiv · ML · arxiv.org