跳到正文
arXiv · NLP· Aarne Talman, Stergios Chatzikyriakidis·· 7 天前AI 评分25

捷径还是记忆?重新审视大语言模型在自然语言理解中的数据污染问题

Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models

AI 导读

研究通过扰动实验发现,8个LLM在MNLI上保留36-72%表现远超ANLI的14-29%,证明鲁棒性源于数据集捷径而非预训练数据污染。 通过368个人工验证的新项目证实,模型在无名词干扰时保留MNLI风格优势,但移除功能词时优势反转,表明结果反映基准特性而非模型能力。

来源:arXiv · NLP · arxiv.org