跳到正文
arXiv · NLP· Harry Mayne, Lev McKinney, Jan Dubi\'nski, Adam Karvonen, James Chua, Owain Evans·· 11 天前精选AI 评分69

Negation Neglect:模型在训练中忽略否定信息的机制研究

Negation Neglect: When models fail to learn negations in training

AI 导读

研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。

推荐理由

揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。

来源:arXiv · NLP · arxiv.org