arXiv · ML· Anastasiia Prutianova, Alina Bogdanova, Mikhail Shutov, Dmitrii Poimanov, Anatoly Gorkov, Ilia Zharikov·· 1 天前AI 评分32
TVQ 实现大语言模型矢量量化后的梯度优化
Trainable Vector Quantization for Large Language Models
AI 导读
研究人员提出 TVQ 方法，利用直通估计使量化后的大语言模型支持基于梯度下降的任意目标优化。 该方法采用块级知识蒸馏范式平衡质量与效率，在 LLaMA2-70B 上实现近无损的 2-bit 量化，问答基准准确率仅下降 1%。 该研究被 ECML PKDD 2026 接收，展示了低比特后训练量化的 SOTA 性能。
来源：arXiv · ML · arxiv.org