arXiv · ML· Yutong Liu, Cairong Zhao, Guosheng Hu·· 16 小时前AI 评分24
大语言模型量化技术全面评估：MXFP4 与 NVFP4 格式的性能分析
A Comprehensive Evaluation on Quantization Techniques for Large Language Models
AI 导读
该研究通过统一基准评估大语言模型的低比特量化技术，发现旋转与缩放是最佳的预量化变换方法。 实验表明更细的粒度提升了性能但增加了存储，非对称量化对激活值的收益显著高于权重。 针对 MXFP4 和 NVFP4 格式，研究发现缩放因子精度影响显著，且基于旋转的变换在这两种格式下改进甚微。
来源：arXiv · ML · arxiv.org