跳到正文
arXiv · ML· Nadav Benedek, Tomer Koren, Ohad Fried·· 2026-10-06AI 评分33

Gefen:通过共享二阶矩与量化一阶矩优化 AdamW 优化器内存

Gefen: Optimized Stochastic Optimizer

AI 导读

Gefen 提出一种内存高效的优化器,通过自动共享二阶矩估计并量化一阶矩,将 AdamW 的优化器内存占用降低至多 8 倍,每百亿参数节省 6.5 GiB。 该优化器利用混合 Hessian 结构推断参数块,无需架构元数据,采用精确直方图动态规划量化码本。在预训练实验中,Gefen 在保持 AdamW 性能的同时,支持更大的微批次并显著提升训练吞吐量。

来源:arXiv · ML · arxiv.org