跳到正文
arXiv · ML· Yifan Sun, Naicheng Yu, Jiawen Gong, Jingyan Shen, Huan Zhang·· 29 天前AI 评分29

基准测试是难度经验测度的观点:揭示匹配偏差与覆盖缺口

Your Benchmark Is an Empirical Measure Over Difficulty

AI 导读

研究指出基准测试隐含了对难度的经验测度,并定义了测度不匹配和覆盖缺口两种失败模式。 在7个领域、25个基准上的实证分析显示,许多基准隐式地过度加权了特定的难度区间,且存在大量未覆盖区域。 该研究提出了BenchFill算法,通过重写题目有效减少局部覆盖缺口,为基准评估提供了诊断手段。

来源:arXiv · ML · arxiv.org