arXiv · AI· Idunnuoluwa A. Adeniji, Shilpika, Michael E. Papka·· 4 小时前AI 评分24
LLM Agent 执行轨迹中行为检测器的审计研究
What the Trace Shows and What the Label Says: Auditing Behavioral Detectors in Agent Evaluation
AI 导读
研究审计了基于 GSM8K 的 LLM Agent 工具使用场景，发现自动化标签常无法准确反映执行轨迹，主要失效模式为“静默工具输出覆盖”。 在 6 个生产模型和 30 个问题测试中，最终正确性等标签存在系统性偏差；人工复核显示验证检测仅 67/81 与自动标签一致，其余 14 处分歧符合四种模式。 研究提出测量透明度建议，主张自动标签应附带轨迹证据及执行限制信息，并开发轨迹查看器供检查。
来源：arXiv · AI · arxiv.org