跳到正文
arXiv · ML· Zeyu Li, Yipu Zhang, Jintao Cheng, Xin Li, Wei Zhnag·· 2026-10-06AI 评分25

Loopy:针对循环语言模型的低位量化框架

Loopy: Low-Bit Quantization Framework for Looped Language Models

AI 导读

Loopy 提出了一种循环深度感知的后训练量化(PTQ)框架,通过渐进式分配校准窗口来高效选择共享低位表示。 该框架结合通道缩放和正交旋转参数化候选表示,并基于目标部署深度的最终预测损失进行选择。 在 8 种设置中,Loopy 取得了 SOTA 结果;在 Ouro-1.4B 的 W4A4 量化下,其 LAMBADA 困惑度比 SpinQuant 降低 36.5%。

来源:arXiv · ML · arxiv.org