研究提出MuRA模块提升混合序列模型表达力

针对高效混合层难以利用完整KV cache的问题，Yam Eitan等人提出了多跳检索注意力（MuRA）模块。该模块旨在解决现有架构在混合序列建模中的局限。 MuRA模块能够在保持计算与内存效率的同时，支持从共享KV cache进行多跳检索，提升了模型在处理复杂序列依赖时的能力。 研究证明了MuRA在函数组合任务上的表达能力层级，实验结果显示其性能优于现有的混合架构，展现了进一步提升模型表达力的潜力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。