ZO-Muon：通过子空间梯度正交化加速零阶优化
热点事件持续更新
ZO-Muon：通过子空间梯度正交化加速零阶优化
1 篇报道1 个报道来源4 小时前更新
先了解这件事
报道摘要
新优化方法 ZO-Muon 结合子空间投影与谱优化，显著提升零阶优化的收敛速度与效率。 该方法将模型更新视为低秩结构，利用梯度正交化提取谱信息。在 LLM 和 ViT 实验中，ZO-Muon 仅需 MeZO 24.7% 的查询次数即可达到相同 SST-2 性能，并在 CIFAR-100 上使 ViT-L 准确率提升 25.1%。
摘自 arXiv · ML
最新进展10月30日 12:00
ZO-Muon：通过子空间梯度正交化加速零阶优化报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- arXiv · MLZO-Muon：通过子空间梯度正交化加速零阶优化
新优化方法 ZO-Muon 结合子空间投影与谱优化，显著提升零阶优化的收敛速度与效率。 该方法将模型更新视为低秩结构，利用梯度正交化提取谱信息。在 LLM 和 ViT 实验中，ZO-Muon 仅需 MeZO 24.7% 的查询次数即可达到相同 SST-2 性能，并在 CIFAR-100 上使 ViT-L 准确率提升 25.1%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。