arXiv · ML· Jesson Wang, Zhanhao Hu, Minghao Lin, Yuchen Wu, Aylin Caliskan, Mengyuan Li·· 7 小时前AI 评分55
Safety Offset Learning：当良性微调使 LLM 失准
Safety Offset Learning: When Benign Fine-Tuning Misaligns LLMs
AI 导读
研究人员指出良性微调可能通过诱导从拒绝到顺从的行为转变而削弱LLM安全对齐。他们构建了SAFEOFF数据集，该数据集包含被改写以提高模型初始拒绝率的良性指令及其原始无害回答。在三个对齐LLM和三个安全基准上的测试显示，尽管SAFEOFF不含任何有害监督信号，仍显著降低了模型的安全性。
来源：arXiv · ML · arxiv.org