MERLIN提出多状态线性注意力机制

arXiv最新发布的论文提出MERLIN，这是一种基于二阶路由的多状态线性注意力机制。该机制通过跟踪键的均值与方差实现更内容感知的聚合，旨在提升多状态线性注意力模型的长上下文处理能力。 在Gated DeltaNet-1.3B和Mamba-2-780M模型上进行测试，MERLIN在RULER和LongBench基准测试中分别提升了8.3%至13.5%。同时，该方案将内存消耗降低至基线模型的1/4。 研究表明，MERLIN为提升多状态线性注意力模型提供了通用且简洁的路由方案，在多状态线性注意力中优于现有方法，显著改善了长上下文处理效率。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。