跳到正文
arXiv · ML· Utkarsh Ranjan·· 2026-10-05AI 评分31

WakeKV:针对行为可变注意力头的响应式 KV 驻留策略

WakeKV: Reactive, Reversible KV Residency for Heads That Change Their Minds

AI 导读

针对注意力头在生成过程中频繁改变读取行为的问题,研究提出 WakeKV 策略,将冷却中的头移至可恢复的 CPU 存储区。在 Mistral-7B 等模型上,该策略在匹配内存预算下优于固定分类和销毁式驱逐,提升了吞吐率并保留 LongBench 质量。

来源:arXiv · ML · arxiv.org