UtilityBench基准与UtilityAUC指标发布

2026年10月20日，研究者Qifeng Lei等人在arXiv ML（cs.lg）发布UtilityBench基准。该基准包含15,000个可验证实例，旨在通过量化错误严重性，评估语言模型在错误成本各异场景下的效用表现。 该基准引入UtilityAUC指标，利用模型响应排序下的效用曲线面积，实现对效用偏好的对齐，从而超越传统仅关注错误频率的评估方式，提供新的衡量维度。 在对20个最先进模型的评估中，研究发现较高的准确率或更先进的架构并不总能带来更高的UtilityAUC。这一结果揭示了模型在问题解决能力与负责任决策之间存在的差距。

AI 根据报道生成 · 50 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。