arXiv · NLP· Xiaoran Liu, Ziwei He, Xipeng Qiu·· 2026-10-08AI 评分38
长上下文混合模型机制(一):混合注意力到混合位置
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
AI 导读
混合 LLM 架构通过结合不同注意力模块提升长上下文效率与长度外推性能。 研究发现滑动窗口注意力(SWA)混合体在长度外推中表现更好,而线性注意力(LA)混合体在长上下文持续预训练中受益更多。 提出的滑动窗口线性注意力实现 16 倍免训练长度外推,并保持 NIAH-SK1 64k 上下文 100% 准确率。
来源:arXiv · NLP · arxiv.org