arXiv · ML· Zilin Wang, Binghui Li, Jia-Nan Wang, Lean Wang, Jinbo Wang, Lei Wu·· 7 天前AI 评分28
从功能扩展律视角分析 SignSGD 何时及如何优于 SGD
When and How SignSGD Outperforms SGD: A Functional Scaling Law Perspective
AI 导读
研究提出 SignSGD 在幂律核回归下的功能扩展律,揭示梯度噪声通过诱导预条件作用将有效 Hessian 变换为 H^1/2,加速信号学习但减缓噪声遗忘。 该机制使 SignSGD 在困难任务中实现更高数据效率,且在容易任务的大批量设置下,以相同数据预算仅需更少的优化步数。
来源:arXiv · ML · arxiv.org