CoS-VQ 方法提出并公开代码

Zukang Xu 等人提出协同共享尺度向量量化方法 CoS-VQ，并公开相关代码。该方法旨在解决大型语言模型中的尺度诱导耦合问题，通过联合优化硬索引和共享尺度实现。 在 Qwen3.8-27B 模型上的测试显示，CoS-VQ 性能优于 QTIP 和 LLVQ。研究显示，联合更新策略比仅优化尺度能带来更大的性能增益。 技术层面，该方法收集多个探测尺度的候选项，并针对残差感知二次目标构建切线可分上界，以此减少候选比较，从而优化量化过程。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。