arXiv · NLP· Harry Mayne, Lev McKinney, Jan Dubi\'nski, Adam Karvonen, James Chua, Owain Evans·· 11 天前精选AI 评分69
Negation Neglect:模型在训练中忽略否定信息的机制研究
Negation Neglect: When models fail to learn negations in training
AI 导读
研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。
推荐理由
揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。
来源:arXiv · NLP · arxiv.org