跳到正文
arXiv · NLP· Abhishek Anand·· 10 天前AI 评分36

基准测试污染中假阳性和假阴性:部分提示完成测试的审计

How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests

AI 导读

部分提示完成测试在基准污染检测中表现不可靠,假阳性率受剩余文本长度影响显著。Qwen2.5-7B-Instruct 在剩余词数≤8时标记率31.5%,≥25时仅5.5%。在AIME 2026真阴性集上,80%前缀下精确匹配仍产生8.6%误报。

来源:arXiv · NLP · arxiv.org