跳到正文
arXiv · ML· Aref Jafari, Vansh Bhatia, Matt Qin, Subhajit Dutta Chowdhury, Ben Lee, Vikram Appia, Ali Ghodsi, Mehdi Rezagholizadeh·· 2026-10-16AI 评分22

长上下文推测解码无需专门训练的长上下文起草模型

Long-Context Drafting Does Not Require Long-Context Drafters

AI 导读

研究表明,冻结已发布的短上下文起草模型(drafter)即可在超长上下文场景下实现有效的推测解码加速,无需重新训练或微调。 核心机制包含限制注意力缓存范围和重新校准旋转位置索引(rotary position indices)两项推理时技术。

来源:arXiv · ML · arxiv.org