arXiv · ML· Nadav Benedek, Tomer Koren, Ohad Fried·· 2026-10-06AI 评分33
Gefen:通过共享二阶矩与量化一阶矩优化 AdamW 优化器内存
Gefen: Optimized Stochastic Optimizer
AI 导读
Gefen 提出一种内存高效的优化器,通过自动共享二阶矩估计并量化一阶矩,将 AdamW 的优化器内存占用降低至多 8 倍,每百亿参数节省 6.5 GiB。 该优化器利用混合 Hessian 结构推断参数块,无需架构元数据,采用精确直方图动态规划量化码本。在预训练实验中,Gefen 在保持 AdamW 性能的同时,支持更大的微批次并显著提升训练吞吐量。
来源:arXiv · ML · arxiv.org