跳到正文
arXiv · ML· Jeffery Opoku, David Banahene·· 11 天前AI 评分40

CleanScore: 基于负对照和敏感度界值的黑盒基准审计

CleanScore: Black-Box Benchmark Audits with Negative Controls and Sensitivity Bounds

AI 导读

CleanScore 是一种黑盒审计方法,通过为基准题设计独立新形式并设立负对照,估算公开分数的优势区间。 该方法在 200 道 GSM8K 和 ARC-Challenge 题上审计 5 个开源模型,未发现一致暴露优势,且 4/10 模型-基准对的上限区间不超过 5 分。 实验表明仅 24% 的污染影响可通过表面形式检测,揭示“零分”结果并不能完全排除数据污染。

来源:arXiv · ML · arxiv.org