跳到正文
arXiv · ML· Andreas Haupt, Justin Hartenstein, Anka Reuel, Mykel Kochenderfer, Sanmi Koyejo·· 10 天前AI 评分28

基于委托-代理模型的 AI 基准测试题目聚合优化方法

Welfare, Improvability, and Variance: A Principal-Agent Approach to Optimal Benchmark Item Aggregation

AI 导读

该研究提出一种将基准测试建模为多任务委托-代理博弈的新方法,主张摒弃传统的均匀平均分聚合,转而依据题目对规范性福利的对齐度、边际可改进性及性能方差三个维度重新评估题目价值。

来源:arXiv · ML · arxiv.org