arXiv · AI· Jing Huang, Yu Cheng, Ziwei Yu, Lan Zhao, Sitan Li, Guangxiu Yao, Xin Wang, Yuanyong Luo, Hengyi Liang, Ting Li, Bo Liu, Hu Liu, Michael Bi Mi, Heng Liao·· 2 小时前AI 评分28
基于 HiFloat4 格式的大模型量化校准方法
Calibration of Large Model Quantization based on HiFloat4 Format
AI 导读
针对 HiFloat4 格式缺乏校准支持的问题，本文提出 HiGPTQ、HiAutoRound 和 HiFlatQuant 三种校准方法。 这些方法将 HiFloat4 与 BF16 的精度差距缩小至 1% 以内，并在多类下游任务中表现优于 SOTA 的 NVFP4 格式。
来源：arXiv · AI · arxiv.org