arXiv · NLP· Haolin Chen, Deon Metelski, Leon Qi, Tao Xia, Joonyul Lee, Steve Brown, Kevin Riley, Frank Wang, T. Y. Alvin Liu, Hank Capps MD, Zeyu Tang, Xiangchen Song, Lingjing Kong, Fan Feng, Tianyi Zeng, Zhiwei Liu, Zixian Ma, Hang Jiang, Fangli Geng, Yuan Yuan, Chenyu You, Qingsong Wen, Hua Wei, Yanjie Fu, Yue Zhao, Carl Yang, Biwei Huang, Kun Zhang, Caiming Xiong, Sanmi Koyejo, Eric P. Xing, Philip S. Yu, Weiran Yao·· 9 小时前AI 评分25
CHI-Bench：医疗AI智能体能否自动化端到端长周期工作流？
CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows?
AI 导读
CHI-Bench 基准测试显示，当前最佳 AI 智能体仅能解决 28.0% 的长期医疗工作流任务，在严格 pass^3 标准下无一智能体得分超过 20%。 该基准涵盖 20 个医疗应用和 87 个 MCP 工具，任务基于 1,290+ 文档的管理手册，包含多角色交互和多轮对话。 单次会话执行所有任务时性能降至 3.8%，表明政策密集型领域存在类似自动化差距。
来源：arXiv · NLP · arxiv.org