arXiv · AI· Mads Toftrup, Marco Federici, Boris van Breugel, Paul Whatmough, Markus Nagel·· 6 小时前AI 评分24
基于 Hessian 指导的后训练量化统一框架
A Unified Hessian-Guided Framework for Post-Training Quantization
AI 导读
提出基于 Fisher 近似 Hessian 指导的后训练量化框架,联合优化量化范围、线性变换及权重舍入。 该方法在通道级和块级量化设置下均优于现有最先进转换与舍入方法,适用于现代大语言模型。 该框架通过输出敏感性目标解决量化操作不连续带来的优化挑战。
来源:arXiv · AI · arxiv.org