跳到正文
arXiv · ML· Ari Spiesberger, Juan J. Vazquez, Nicky Pochinkov, Tom\'a\v{s} Gaven\v{c}iak, Peli Grietzer, Gavin Leech, Nandi Schoots·· 10 天前AI 评分38

软污染导致基准测试反映浅层泛化

Soft Contamination Means Benchmarks Test Shallow Generalization

AI 导读

研究发现基准测试存在广泛“软污染”,即训练集包含与测试项语义等价的远距离重复项。在 Olmo 语料库中,CodeForces 和 MBPP 测试集的软污染覆盖率分别为 76% 和 100%。 微调此类语义重复项可使基准保留项准确率最高提升 22pp,且效果在现实中与精确重复相当。该提升主要限于同一基准,未能在概念相似的基准间迁移,证实为浅层泛化。

来源:arXiv · ML · arxiv.org