arXiv · NLP· Xinghao Chen, Junnan Dong, Cai Ke, Chak Tou Leong, Haocheng Sun, Keyu Chen, Siyu An, Ruizhi Qiao, Xing Sun, Wenjie Li, Xiaoyu Shen·· 6 小时前AI 评分20
Attuner：面向智能体的无重计算 KV 复用方法
ATTUNER: Recomputation-Free Agentic Context KV Reuse
AI 导读
Attuner 通过查询侧低秩适配器学习读取冻结 KV 缓存，在无需重计算或全上下文参考的情况下，匹配全上下文预填充质量，最高实现 3.73 倍加速。 在 Qwen3-4B 和 Qwen3-8B 上，该方法通过蒸馏全预填充分布进行训练，仅调整 0.05% 模型参数，在技能和文档等 7 项基准测试中显著优于现有 PIC 基线。
来源：arXiv · NLP · arxiv.org