arXiv · AI· Shan Peng, Shuaiqi Cheng, Miao Peng, Chenyi Zi, Jia Li·· 2 小时前AI 评分27
DMAIC-Bench 发布：评估 LLM Agent 在多阶段分析任务中的自我克制能力
DMAIC-Bench: From Self-Reflection to Self-Restraint for Agents in Multi-Stage Analytical Tasks
AI 导读
DMAIC-Bench 评估了 LLM Agent 在多阶段分析任务中的自我克制能力，通过 97 个种子任务对 13 个模型进行测试。结果显示，Agent 在 NO-GO 决策下的路由准确率仅为 19%，且 47% 的 NO-GO 决策基于无效证据。该基准涵盖四个工业领域及生命科学研究，提供了代码和数据。
来源：arXiv · AI · arxiv.org