跳到正文
arXiv · AI· Jhen-Ke Lin, Hong-Yun Lin·· 17 小时前AI 评分23

提出 BoB 方法:在基准测试中分离证据保留与模型比较的影响控制

Balance of Benchmarks: Evidence Retention and Multiplicity-Aware Model Comparison

AI 导读

论文提出 BoB 方法,通过在 WildScores 数据集上进行干预,实现了基准证据保留与影响控制的分离。 在 WildScores 的 148 个基准测试中,BoB 在保留预测方面表现优于等权匹配(平均排名位移 0.63 对 1.95)。 针对模型报告覆盖不均导致权重反转的问题,BoB 采用按模型计算权重规则,有效提升了多重重叠下的鲁棒性。

来源:arXiv · AI · arxiv.org