跳到正文
arXiv · NLP· Zhizhang Fu, Lucas Zhao, Michalis Korakakis, Mengru Ding, Lukasz Szpruch, Yue Zhang·· 10 天前AI 评分31

SWEET:通过权重编辑缓解 LLM 推理中的虚假特征依赖

SWEET: Mitigating Spurious Feature Reliance in LLM Reasoning via Weight Editing

AI 导读

免训练方法 SWEET 结合反事实干预与机制可解释性,定位并抑制长思维链中负责虚假推理的 MLP 神经元和注意力头。 该方法仅用 20 组原始-反事实对提取行为方向,在 5 个开放权重模型上使扰动输入准确率平均提升 11.8 个百分点。 SWEET 将原始与扰动准确率的相对差距从 17.6% 降至 2.5%,提升了推理鲁棒性。

来源:arXiv · NLP · arxiv.org