跳到正文
arXiv · ML· Seohyeon Cha, Huancheng Chen, Dongjun Kim, Haoran Zhang, Kevin Chan, Gustavo de Veciana, Haris Vikalo·· 12 小时前AI 评分35

CoreQ:面向大语言模型量化的失配校正逐次舍入框架

CoreQ: Mismatch-Corrected Successive Rounding for LLM Quantization

AI 导读

研究人员提出无学习PTQ框架CoreQ,通过几何分解计算层自适应校正系数,结合贪心逐次舍入优化量化目标。 该框架避免了对有限校准数据的过拟合,无需调节系数,其扩展版K-CoreQ以少量额外计算换取性能提升。CoreQ在多个LLM家族和量化设置中实现了比强基准更低的困惑度和更高的下游准确性。

来源:arXiv · ML · arxiv.org