复旦团队提出混合架构长文力学

复旦大学邱锡鹏团队近期发表论文《Mechanics of Long-Context Hybrid Models》，探讨混合架构在长上下文处理中的优势。研究表明，结合线性注意力与滑窗注意力的混合架构优于单一架构，揭示了不同注意力模块的互补协同机制。 实验基于376M至3B参数规模，证明混合位置设计能使模型从4k上下文免训练外推至64k，并在RULER NIAH-SK1任务保持100%准确率，为长文本处理提供新方案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。