跳到正文
arXiv · ML· Qitao Tan, Xiaoying Song, Ningxi Cheng, Guoming Li, Jun Liu, Lingzi Hong, Caiwen Ding, Jundong Li, Xiaoming Zhai, Shaoyi Huang, Jin Lu, Ninghao Liu, Wei Niu, Geng Yuan·· 11 天前AI 评分24

ZeroQAT:零阶量化感知训练实现 LLM 端侧低比特微调

End-to-End On-Device Quantization-Aware Training for LLMs at Inference Cost

AI 导读

论文提出 ZeroQAT 框架,通过前向传播梯度估算消除反向传播,支持 LLM 权重与激活的端到端量化感知训练(QAT),显著降低内存与计算开销。 ZeroQAT 允许在单张 8GB GPU 上以 2-4 bit 极低位宽微调 13B 模型,并实现 6.7B 模型在 OnePlus 12 智能手机上的端侧微调。

来源:arXiv · ML · arxiv.org