arXiv · AI· Yiwei Qin, Muhang Xie, Xuefeng Li, Mohan Jiang, Dayuan Fu, Tiantian Mi, Qipeng Guo, Pengfei Liu·· 3 天前AI 评分57
基准数据泄露加剧:过去一个月污染从后训练扩展至预训练基础模型
Benchleaking Is Accelerating: Benchmark contamination has worsened sharply in the past month -- from post-training down to pre-training base models
AI 导读
基准数据污染正以前所未有的尖锐形式出现。过去一个月,基准数据泄露已从后训练扩展到预训练。针对四个公开基础模型,研究通过20项基准的少样本续写发现,部分模型会输出未出现在输入中的其他完整测试题及选项。
来源:arXiv · AI · arxiv.org