跳到正文
arXiv · NLP· Zhuochun Li, Youngmin Ko, Ali Keramati, Tuhin Kundu, Liang-Chun Tsai, Nicola Ferri, Mirco Milletari, Jiaxiang Liu, Susana Palmaz Lopez Pelaez, Yuepeng Wang, Vadim Smolyakov, Xiang Jiang, Kjartan Olafsson, Tommy Guy·· 17 天前AI 评分68

Thinkingbox:针对有状态业务流程的智能体沙盒与基准

One Success Isn't Reliability: Thinkingbox, a Sandbox and Benchmark for Agents in Stateful Business Workflows

AI 导读

研究人员发布 Thinkingbox 沙盒及 Thinkingbox-Bench 基准,包含 507 个有策略约束的业务流程,涵盖零售、保险等场景。实验显示 Claude Opus 5 从 66.50% 的 pass@1 降至 47.53% 的 pass^20,Kimi-K3 从 57.37% 降至 17.60%,揭示单次成功与长期可靠性之间的巨大差距。

来源:arXiv · NLP · arxiv.org