跳到正文
arXiv · NLP· Babak Barazandeh, Subhabrata Majumdar, George Michailidis·· 8 小时前AI 评分26

OTAP: 面向智能体轨迹规划与执行评估的结构感知最优传输方法

OTAP: Structure-Aware Optimal Transport for Evaluating Planning and Execution in Agent Trajectories

AI 导读

提出基于非平衡融合 Gromov-Wasserstein 传输的 OTAP 指标,用于评估大语言模型智能体轨迹,解决二元成功标志无法区分合理方案与侥幸成功的问题。 在三个公开基准测试中,当语义指标表现低于随机水平时,OTAP 能有效区分有效与无效轨迹;盲测 236 条轨迹显示其与人类判断一致性最高,且对边缘噪声敏感度低于结构感知基线。

来源:arXiv · NLP · arxiv.org