arXiv · AI· Hyunji Lee, Joykirat Singh, Zaid Khan, Justin Chih-Yao Chen, Elias Stengel-Eskin, Alessandro Sordoni, Arman Cohan, Mohit Bansal·· 2026-10-06AI 评分26
混合语言模型记忆通路失衡:如何让循环层与注意力层协同工作
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
AI 导读
研究发现,循环-注意力混合语言模型虽然同时具备注意力与循环两条记忆通路,却显著更依赖注意力,标准监督微调也无法改善这种失衡,反而让模型更依赖注意力传播的信息。 作者提出一种辅助损失,在循环状态传播完整序列时限制注意力对早期上下文的访问,从而促使模型通过循环通路保留和利用信息,在长上下文和信息聚合类任务上提升尤为明显。
来源:arXiv · AI · arxiv.org