arXiv · ML· Fernando Diaz·· 2 天前AI 评分20
离线偏好轨迹评估:解决智能体系统评估中平局过多问题
Offline Preference-Based Trajectory Evaluation
AI 导读
现有智能体系统离线评估多将轨迹简化为二元成功值,导致约 75% 实例出现平局,降低统计效率。 提出的偏好轨迹评估法通过比较不同时刻的回报分布直接对比轨迹对,将平局率降至约 35%。 该方法提升了区分度与排序稳定性,表明基准测试饱和现象可能源于评估指标设计而非数据或难度问题。
来源:arXiv · ML · arxiv.org