arXiv · AI· Aryan Das, Vinay Kumar Verma, Aakansha Mishra·· 4 小时前AI 评分33
Muon-RT：利用教师轨迹复用消除 Muon 动量，提升 LLM 自蒸馏效率
MUON-RT Reusing the Teacher's Trajectory for Momentum-Free Muon for LLM Self-Distillation
AI 导读
研究人员提出 Muon-RT 优化器，通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区，在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中，相比 AdamW 分别提升 2.6 和 2.0 点平均准确率，并显著减少持久内存使用。
来源：arXiv · AI · arxiv.org