跳到正文
arXiv · ML· Zilin Wang, Binghui Li, Jia-Nan Wang, Lean Wang, Jinbo Wang, Lei Wu·· 7 天前AI 评分28

从功能扩展律视角分析 SignSGD 何时及如何优于 SGD

When and How SignSGD Outperforms SGD: A Functional Scaling Law Perspective

AI 导读

研究提出 SignSGD 在幂律核回归下的功能扩展律,揭示梯度噪声通过诱导预条件作用将有效 Hessian 变换为 H^1/2,加速信号学习但减缓噪声遗忘。 该机制使 SignSGD 在困难任务中实现更高数据效率,且在容易任务的大批量设置下,以相同数据预算仅需更少的优化步数。

来源:arXiv · ML · arxiv.org