arXiv · NLP· Abhishek Anand·· 10 天前AI 评分36
基准测试污染中假阳性和假阴性:部分提示完成测试的审计
How Much Is Left Matters: False Positives and False Negatives in Partial-Prompt Contamination Tests
AI 导读
部分提示完成测试在基准污染检测中表现不可靠,假阳性率受剩余文本长度影响显著。Qwen2.5-7B-Instruct 在剩余词数≤8时标记率31.5%,≥25时仅5.5%。在AIME 2026真阴性集上,80%前缀下精确匹配仍产生8.6%误报。
来源:arXiv · NLP · arxiv.org