arXiv · AI· Guanhua Ding, Zi Wang, Ruichao Li, Jack Liu·· 2026-10-08AI 评分28
CurveTQ:基于曲率加权搜索的无旋转 Trellis 量化 LLM 权重
CurveTQ: Rotation-Free Trellis Quantization of LLM Weights via Curvature-Weighted Search
AI 导读
CurveTQ 提出无旋转 Trellis 量化方法,将 Hessian 对角线权重引入 Viterbi 分支度量。 在 4-8B Instruct 模型上,CurveTQ 于 2-bit 下平均准确率比 QTIP 和 Proteus 高 1-3 点,解码速度最快。 该方法还实现了 35B MoE 模型上首个 Trellis 编码结果。
来源:arXiv · AI · arxiv.org