跳到正文
arXiv · AI· Sungbin Im·· 7 天前AI 评分32

LLM 裁判与原生评分在 tau2-bench 上的分歧:一项实证研究

When Evaluators of AI Agents Disagree: An Empirical Study of Native Scoring, LLM Judges, and Commit-Boundary Checks on tau2-bench

AI 导读

在 tau2-bench 的 2160 个回合中,LLM 裁判与原生评分仅在 56.2% 的回合上达成一致。 裁判在 98.2% 的重复测试中保持自我一致,却放过了 11 个回合中 10 个的违规写操作;而基于边界的规则检查器成功捕获了全部违规。

来源:arXiv · AI · arxiv.org