Ning Yang等提出LinearARD线性注意力蒸馏方法

2026年10月27日，Ning Yang等研究者在arXiv上发布了LinearARD方法，一种面向RoPE恢复的线性内存注意力蒸馏技术。该方法的核心理念是通过冻结原生RoPE教师模型，并保持注意力结构的一致性，从而在大语言模型扩展上下文窗口时有效恢复模型性能。在实验验证中，研究者将该方法应用于LLaMA2-7B、LLaMA3-8B以及Mistral-7B-v0.1模型，将其上下文长度扩展至32K。结果显示，LinearARD分别恢复了这些模型93.1%、94.2%和94.3%的原生短上下文性能。该方法在数据效率上表现显著，仅使用4.25M tokens即达到了256M基准预算下相当的效果，实现了约60倍的数据效率提升，相关代码已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。