arXiv · ML· Jian-Jia Chen, Brian J. Chan, Wen-Hung Lee, Yi-Ting Li, Po-Shen Chen, Kuan-Te Kuo, Hsien-Cheng Huang, Cody Hao Yu, Chi-Chih Chang, Mohamed S. Abdelfattah, Kai-Chiang Wu·· 3 天前AI 评分26
FlipQuant:面向 Blackwell 硬件的梯度引导 MIXFP4 量化
Gradient-Guided Hardware-Native MIXFP4
AI 导读
针对 NVFP4 精度不足,研究提出梯度引导量化方法 FlipQuant。 通过端到端梯度学习二进制格式映射,支持 SM100 硬件原生内核,GEMM 开销中位数为 1.7%。 在 6 个语言模型测试中,FlipQuant 平均闭合了 NVFP4 与 BF16 之间 42.5% 的困惑度差距。 ```
来源:arXiv · ML · arxiv.org