arXiv · ML· Yihe Zhou, Tongtian Zhu, Yingxiao Huo, Satya Prakash Dash, Can Wang, Samuel Kaski, Mingfei Sun·· 3 天前AI 评分32
Adam 优化器中隐藏比例结构的稳定性、压缩特性与符号动力学研究
The Hidden Ratio in Adam: Stable Structure, Compression, and Sign Dynamics
AI 导读
研究发现 Adam 优化器在 tied-β 机制下可通过转换比例表达,该比例在任务、模型规模和训练阶段中呈现稳定的重尾分布。 基于此稳定性,研究证明使用固定 4-bit 码本存储该状态即可实现与全精度 Adam 竞争的性能,无需辅助缩放,并阐明了其与符号方法(Signum)的理论联系。
来源:arXiv · ML · arxiv.org