arXiv · AI· Zukang Xu, Zhixiong Zhao, Xing Hu, Zhe Jiang, Xin Si, Dawei Yang·· 5 小时前AI 评分25
CoS-VQ：面向大型语言模型的协同共享尺度向量量化
CoS-VQ: Coordinated Shared-Scale Vector Quantization for Large Language Models
AI 导读
CoS-VQ 提出协同共享尺度向量量化方法，在 Qwen3.8-27B 模型上优于 QTIP 和 LLVQ。 该方法通过联合优化硬索引和共享尺度解决尺度诱导耦合问题，利用切线可分上界减少候选比较。 代码已公开，联合更新比仅优化尺度带来更大性能增益。
来源：arXiv · AI · arxiv.org