arXiv · ML· Yam Eitan, Gilad Yehudai, Haggai Maron·2026-10-20 12:00· 7 小时前AI 评分33

MuRA：通过多跳检索提升混合序列模型表达能力

Improving the Expressive Power of Hybrid Sequence Models via Multi-Hop Retrieval

AI 导读

针对高效混合层难以利用完整 KV cache 的问题，提出多跳检索注意力（MuRA）模块。该模块可在保持计算与内存效率的同时，支持从共享 KV cache 进行多跳检索。证明了 MuRA 在函数组合任务上的表达能力层级，实验显示其性能优于现有混合架构。

来源：arXiv · ML · arxiv.org