研究审计LLM Agent工具使用场景自动化标签偏差

2026年10月23日，arXiv发布一项针对LLM Agent执行轨迹中行为检测器的审计研究。该研究聚焦于基于GSM8K的LLM Agent工具使用场景，旨在评估自动化标签在反映执行轨迹时的准确性。 研究团队在6个生产模型及30个问题测试中发现，最终正确性等自动标签存在系统性偏差，无法准确反映实际执行过程。主要失效模式被识别为“静默工具输出覆盖”，即工具输出被覆盖导致信息缺失。 人工复核结果显示，在81个样本中，仅有67个验证检测与自动标签一致，其余14处分歧符合四种特定模式。基于此，研究提出测量透明度建议，主张自动标签应附带轨迹证据及执行限制信息，并开发了轨迹查看器供检查。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。