MedCUA-Bench 临床智能体基准揭示可靠性缺口

Jia Yu、Zilong Wang 等人发布 MedCUA-Bench，这是面向临床计算机使用智能体的纯截图交互式基准。该基准覆盖 10 个医疗领域的 18 种临床场景，场景基于真实产品手册和开源医疗系统重建，旨在测试智能体在临床软件中的操作可靠性。 基准通过确定性检查器评估了 23 个智能体。测试结果显示，最佳闭源模型的严格成功率仅为 54.2%；在真实 OpenEMR 系统上，所有模型的成功率均低于 9%；开源智能体的平均成功率更是低至 2.5%。这一数据直观揭示了当前智能体在临床场景下存在显著的可靠性缺口。 MedCUA-Bench 为未来研究提供了可复现的测试床。研究人员可利用该基准复现和比较不同智能体在临床计算机使用任务上的表现，进而定位现有技术在真实医疗工作流中不可靠的具体环节，推动临床智能体技术的迭代与优化。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。