跳到正文
arXiv · ML· Daniil Li, Mars Davletshin, Vadim Klyzhenko, Artem Danilishin, Valery Sandul, Daniil Ryazanov, Ekaterina Muravleva·· 2 天前AI 评分24

HADVQ:基于Hessian感知方向向量量化实现LLM超低比特压缩

HADVQ: Hessian Aware Directional Vector Quantization

AI 导读

HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。

来源:arXiv · ML · arxiv.org