arXiv · ML· Bing Liu, Wenjie Zhou, Chengcheng Zhao, Hongtao Zhang, Boao Kong, Felix Dangel, Wu Lin·· 2026-10-07AI 评分33
Bregman 散度如何塑造 Shampoo 优化器的预条件机制
How Bregman Divergences Shape Shampoo
AI 导读
统一 Bregman 散度框架揭示了散度选择对 Shampoo 预条件器的影响。研究发现部分散度能补偿有限样本下二阶矩的经验估计偏差,进而解释不同 Shampoo 变体在训练中的行为差异。 该结论通过 GPT-2 预训练实验验证,表明散度选择与实际操作行为直接相关。这一框架为理解并改进 Shampoo 优化器的理论基础提供了原则性指导。
来源:arXiv · ML · arxiv.org