arXiv · AI· Xinyu Lei, Hong Huang, Jiebin Zhang, Hongyu Li, Jinlong Song, Decheng Wu, Guanghua Yu, Jianchen Zhu, Sujian Li·· 8 小时前AI 评分29
E8-QAT：采用隐式格码本的高效2位量化感知训练
E8-QAT: Efficient 2-Bit Quantization-Aware Training with Implicit Lattice Codebooks
AI 导读
提出的 E8-QAT 框架使用 E8 隐式格码本进行 2 位量化，在 Qwen3.6-35B-A3B 上四项任务平均分与全精度模型持平。 该方法通过算术投影避免训练时搜索显式码本，比最先进基线在 IFEval 高 2.03%，在 LiveCodeBench 高 1.51%。 2 位表示将峰值内存降低 80%，最大可行批次下的解码吞吐量达 BF16 的 1.97 倍。
来源：arXiv · AI · arxiv.org