arXiv · AI· Jia Yu, Zilong Wang, Xinyang Jiang, Dongsheng Li, Shuo Wang·· 8 小时前AI 评分28
MedCUA-Bench:面向临床计算机使用智能体的纯截图基准测试
MedCUA-Bench: A Screenshot-Only Benchmark for Clinical Computer-Use Agents
AI 导读
MedCUA-Bench 覆盖 10 个医疗领域的 18 种临床场景,通过确定性检查器评估 23 个智能体。 最佳闭源模型严格成功率仅 54.2%,在真实 OpenEMR 上全模型低于 9%,开源智能体平均仅 2.5%。 该基准揭示了当前智能体在临床软件可靠性上的缺口,为未来研究提供可复现测试床。
来源:arXiv · AI · arxiv.org