arXiv · NLP· Hee Seung Hwang, Sanghyuk Chun, Xindi Wu, Olga Russakovsky, Zhiwei Deng·· 5 小时前AI 评分29
MERLIN：基于二阶路由的多状态线性注意力机制
Multi-State Linear Attention with Generalized Second-Order Routing
AI 导读
MERLIN通过跟踪键的均值与方差实现更内容感知的聚合，在多状态线性注意力中优于现有方法。 在 Gated DeltaNet-1.3B 和 Mamba-2-780M 模型上，MERLIN 在 RULER 和 LongBench 基准测试中分别提升 8.3%-13.5%，且内存消耗降低至基线的 1/4。 该机制为提升多状态线性注意力模型的长上下文处理能力提供了通用且简洁的路由方案。
来源：arXiv · NLP · arxiv.org