研究揭示量化显著改变模型隐式偏好

研究人员在arXiv发表论文，探讨量化技术对模型潜意识学习偏好的影响，重点审计了Qwen2.5-7B-Instruct模型中的“偏好熊猫”植入行为。在4-bit量化场景下，模型隐性偏好强度发生显著偏移：HQQ量化使其强度增至1.3倍，NF4则降至0.3倍。研究进一步指出，量化舍入误差的空间结构而非幅度是决定偏好强度变化的核心因素，随机重排误差可导致强度在0.2至1.6倍间波动。这意味着16-bit审计无法有效限制实际部署中的安全风险，因此安全评估必须直接测试即将部署的确切量化权重。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。