arXiv · ML· Hanyang Li, Shao Tang, Daniel Thomas Braithwaite, Gregory Dexter, Leonardo Neves, Aman Gupta, Hiroto Udagawa, Abhishek Shivanna, Daniel Silva, Rohan Ramanath·· 2026-10-09AI 评分21
ZIP-SR 与 ZE-EDEN:重新设计 AdamW 4 位优化器状态量化
Rounding in Preconditioner Space: Redesigning 4-bit AdamW Optimizer-State Quantization
AI 导读
提出 ZIP-SR 和 ZE-EDEN 方法,重新设计 AdamW 4-bit 优化器状态量化,在 GPT 和 Llama 系列 130M 至 2.7B 参数预训练实验中,将 TorchAO 4-bit AdamW 相对 32-bit 的平均验证损失差距最高降低 70%。
来源:arXiv · ML · arxiv.org