Muon-RT 论文提出无动量 Muon 优化器提升自蒸馏效率
热点事件持续更新
Muon-RT 论文提出无动量 Muon 优化器提升自蒸馏效率
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究人员 Aryan Das 等人发布 Muon-RT 方法论文，提出利用教师轨迹复用机制。该方法通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区，在保持指数加权历史的同时降低训练内存占用。 实验表明，该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中效果显著。与 AdamW 相比，平均准确率分别提升 2.6 和 2.0 点，同时大幅减少了持久内存的使用。
AI 根据报道生成 · 2 小时前更新
最新进展11月2日 13:00
Muon-RT：利用教师轨迹复用消除 Muon 动量，提升 LLM 自蒸馏效率报道时间线
沿着报道，了解事件的不同侧面。
11月2日
- arXiv · AIMuon-RT：利用教师轨迹复用消除 Muon 动量，提升 LLM 自蒸馏效率
研究人员提出 Muon-RT 优化器，通过复用教师-学生位移向量消除隐藏权重矩阵的动量缓冲区，在保持指数加权历史的同时降低训练内存占用。该方案在 Qwen2.5-7B-Instruct 和 Olmo-3-7B-Instruct 的自蒸馏任务中，相比 AdamW 分别提升 2.6 和 2.0 点平均准确率，并显著减少持久内存使用。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 1011月2日 14:00
- 近 24 小时变化
- –
02.557.510
14:0015:0016:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。