arXiv · ML· Yingjie Tan, Haiquan Qiu, Quanming Yao, Manyi Zhong, Xianzhi Yu, Yaqing Wang·· 23 小时前AI 评分38
QRAE：面向 DeepSearch 智能体上下文压缩的查询相关注意力熵方法
QRAE: Query-Relevant Attention Entropy for Context Compression in DeepSearch Agents
AI 导读
QRAE 通过稀疏证据评估头在线压缩 DeepSearch 智能体上下文，平均提升任务成功率 2.35 个百分点，降低延迟 30% 和 token 使用量 45%。 该方法利用无查询对照与归一化熵筛选高分证据块，无需修改注意力算子或额外生成压缩，效果可泛化至近 100B 参数模型。
来源：arXiv · ML · arxiv.org