跳到正文
arXiv · NLP· Radhika Gaonkar·· 2026-10-09AI 评分34

TRACE 协议:诊断 LLM Agent 评估中验证器的脆弱性

TRACE: Diagnosing Verifier Brittleness in Agentic Evaluation

AI 导读

TRACE 协议通过针对性修改评估环节,将分数变化转化为可测试的诊断,以区分 LLM Agent 能力变化与评估误差。 在 25 个合成任务中,仅重命名工具导致脚本 Agent 分数下降 0.250;在 88 个新任务中,误导性工具名使所有 Agent 奖励降低 0.20-0.44。 单次运行比较无法区分呈现效果与运行间差异,15-36% 的任务结果在重跑时发生翻转。

来源:arXiv · NLP · arxiv.org