混合架构用线性注意力还是滑窗注意力？复旦创智OpenMOSS团队：我全都要

复旦大学邱锡鹏团队论文《Mechanics of Long-Context Hybrid Models》指出，混合滑窗与线性注意力优于单一架构。 实验基于 376M 至 3B 参数规模，提出混合位置设计使模型从 4k 上下文免训练外推至 64k 时，在 RULER NIAH-SK1 任务保持 100% 准确率。 该研究揭示了不同注意力模块在长上下文任务中的互补协同机制。