跳到正文
arXiv · AI· Eug\`ene Berta, David Holzm\"uller, Francis Bach, Michael I. Jordan·· 5 小时前AI 评分36

CalArena:大规模事后校准基准

CalArena: A Large-Scale Post-Hoc Calibration Benchmark

AI 导读

CalArena 发布了覆盖近 2000 个实验的事后校准基准,涵盖表格和计算机视觉任务。 该基准聚合了经典模型、深度学习架构及基础模型的预测,并包含数十种校准方法的统一实现。 研究者提出以合理评分规则中的事后改进(PHI)替代传统校准误差估计器,并开源了数据与代码。

来源:arXiv · AI · arxiv.org