arXiv · ML· Qifeng Lei, Zhiyong Yang, Zitai Wang, Shilong Bao, Linchao Zhang, Qianqian Xu, Qingming Huang·· 7 小时前AI 评分26
UtilityBench：测量不同成本错误下的语言模型效用
UtilityBench: Measuring Language Model Utility When Errors Have Different Costs
AI 导读
UtilityBench 是一个包含 15,000 个可验证实例的基准，通过最佳最坏标度法量化错误严重性，用于评估语言模型在错误成本各异场景下的效用。 它引入 UtilityAUC 指标，通过模型响应排序下的效用曲线面积，实现超越错误频率的效用偏好对齐。 在 20 个最先进模型的评估中，较高的准确率或更先进的架构并不总能带来更高的 UtilityAUC，揭示了问题解决能力与负责任决策之间的差距。
来源：arXiv · ML · arxiv.org