arXiv · NLP· Aarne Talman, Stergios Chatzikyriakidis·· 7 天前AI 评分25
捷径还是记忆?重新审视大语言模型在自然语言理解中的数据污染问题
Shortcuts or Memorisation? Revisiting Data Corruption in Natural Language Understanding with Large Language Models
AI 导读
研究通过扰动实验发现,8个LLM在MNLI上保留36-72%表现远超ANLI的14-29%,证明鲁棒性源于数据集捷径而非预训练数据污染。 通过368个人工验证的新项目证实,模型在无名词干扰时保留MNLI风格优势,但移除功能词时优势反转,表明结果反映基准特性而非模型能力。
来源:arXiv · NLP · arxiv.org