跳到正文
arXiv · AI· Johannes Knittel, Alec Helbling, Hanspeter Pfister·· 2026-10-16AI 评分20

RoleQ:将语言模型转换为三元的角色对齐缩放

RoleQ: Role-Aligned Scales for Converting Language Models to Ternary

AI 导读

RoleQ 提出一种基于 Transformer 单元功能角色而非权重矩阵布局的量化框架,将模型转换为 1.59 bits/weight。 该框架无需搜索、校准或存储状态,在 0.6B 至 14B 模型上,三元量化下困惑度比基于布局的放置方式降低最多一半。 在 8B 规模下,部分比特可恢复约一半的 MMLU 分数,显著优于随机或基于 Hessian 的放置方法。

来源:arXiv · AI · arxiv.org