Windowed-MTP 消除百万 Token 全量 Draft-KV 开销并合并 SGLang

Alagappan Valliappan 发布论文 arXiv:2607.21535，提出 Windowed-MTP 方法。该方案解决 Gated DeltaNet 和 Mamba2 混合架构在长上下文下，全注意力 MTP 头部因频繁读取 KV 缓存导致性能下降的问题。 Windowed-MTP 仅对 Draft 模型应用 StreamingLLM 风格的窗口与注意力汇，保持 Target 模型的全上下文验证，从而保留目标分布。该方法训练无关且即插即用。 在单 GPU 上的 SGLang 环境中，针对两个混合架构家族的三个模型测试显示，在 1M 上下文长度下，该方法提供无需接受率的 1.28-1.44 倍每解码步加速。目前，窗口草稿注意力实现已合并至 SGLang 上游 PR #32673。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。