arXiv · NLP· Quy-Anh Dang, Chris Ngo·· 3 天前AI 评分48
Centered Ablation:修正末层方向性消融失效与崩溃的闭式解
Centered Ablation: Why Last-Layer Directional Ablation Under-Fires or Collapses, and a Closed-Form Fix
AI 导读
针对语言模型末层方向性消融常出现的失效或文本崩溃问题,提出闭式解 Centered Ablation(CA)以剔除公共模式影响。 在 8 个模型测试中,CA 使攻击成功率提升 29 至 46 分,将 Gemma-2-9B 的崩溃率从 50% 降至 1%,且在低重叠度模型上比线性偏移方法多保留 39 至 46 分的安全性。
来源:arXiv · NLP · arxiv.org