arXiv · AI· Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos·· 2026-10-16AI 评分29
语言模型通过 Declarative Attention 实现自注意力控制
Language Models Can Control Their Own Attention
AI 导读
研究提出 Declarative Attention 协议,让模型在思维链中主动声明需关注的 KV cache 区域以跳过大部分读取。 在 Gemma-4-31B 和 Qwen-3.6-27B 模型上,该方案将每次响应关注 token 总数分别降低 45.8% 和 19.6%。 尽管额外解码步骤增加,准确率仅小幅下降 1.40pp 和 2.10pp,代码已开源。
来源:arXiv · AI · arxiv.org