arXiv · ML· William L. Tong, Aryo Lotfi, Emmanuel Abbe, Josh Susskind, Cengiz Pehlevan, Eran Malach·2026-10-20 12:00· 7 小时前AI 评分33

Weighted State Souping 方法提升 SSM 长上下文检索效率

Weighted State Souping for Efficient Long-Context Retrieval

AI 导读

提出 Weighted State Souping 方法，通过学习查询相关权重组合缓存状态，显著改善长上下文性能。该方法支持单跳与多跳问答、大海捞针检索及工具使用，稀疏变体保持近常数编码成本。为大型文档、工具等结构化上下文的智能体工作负载提供高效建模方案。

来源：arXiv · ML · arxiv.org