arXiv · NLP· Liqun Ma, Shengkun Tang, Liangyu Wang, Lin Zhao, Wei Luo, Xinjun Niu, Spandan Tiwari, Ashish Sirasao, Kun Zhang, Zhiqiang Shen·· 11 天前AI 评分25
ResQAdam:残差保持自适应优化实现内存高效的 QAT
ResQAdam: Residual-Preserving Adaptive Optimization for Memory-Efficient Quantization Aware Training
AI 导读
ResQAdam 提出残差保持自适应优化,将 QAT 优化器状态内存降低 71% 至 74%,训练吞吐量损失低于 2%。 该方法保留单 BF16 动量,对主子空间应用 Adam,并对残差执行归一化符号更新。 ResQAdam 支持 2 位权重量化,在多种 QAT 方法中表现接近 AdamW。
来源:arXiv · NLP · arxiv.org