arXiv · ML· Alagappan Valliappan·· 4 小时前AI 评分37
Windowed-MTP：消除百万 Token 上下文下的全量 Draft-KV 开销
Windowed-MTP: Removing the Full-Context Draft-KV Tax at Million-Token Context
AI 导读
在 Gated DeltaNet 和 Mamba2 混合架构模型中，全注意力 MTP 头部在长上下文下因频繁读取 KV 缓存导致性能下降，甚至慢于非推测解码。 该方法对 Draft 应用 StreamingLLM 风格的窗口与注意力汇，保持 Target 全上下文验证；训练无关且即插即用。
来源：arXiv · ML · arxiv.org