跳到正文
arXiv · NLP· Ege Kaya (University of British Columbia)·· 2 天前AI 评分41

研究揭示 4-bit 量化对聊天模型安全行为的影响取决于特定舍入误差

Is 4-Bit Quantization More Than Noise to a Chat Model's Safety Behaviour? Attributing Behavioural Shifts with Matched Perturbations

AI 导读

预注册研究显示,4-bit 量化导致 Qwen2.5-3B 和 Llama-3.2-3B 的拒答行为出现相反偏移,且该变化取决于特定舍入误差而非比特数或似然。 Llama-3.2-3B 在越狱攻击下的顺从率降低 10.3 分,其半幅误差下顺从率仍降 5.8 分,而随机或高斯扰动平均影响接近零。 每个量化构建必须与其原始版本对比,因为 4-bit 量化下的拒答行为无法由通用指标预测。

来源:arXiv · NLP · arxiv.org