arXiv · NLP· Ning Yang, Hengyu Zhong, Wentao Wang, Baoliang Tian, Yuan Zhou, Haijun Zhang, Jun Wang·· 4 小时前AI 评分38
LinearARD：面向 RoPE 恢复的线性内存注意力蒸馏方法
LinearARD: Linear-Memory Attention Distillation for RoPE Restoration
AI 导读
LinearARD 通过冻结原生 RoPE 教师模型的注意力结构一致性，实现大语言模型上下文扩展时的性能恢复。该方法仅用 4.25M tokens 达到 256M baseline 预算下 93.1%-94.3% 的短上下文性能，实现约 60 倍数据效率提升。
来源：arXiv · NLP · arxiv.org