跳到正文
arXiv · AI· Shriram Vasudevan, Videet Mehta, Connor Sweeney·· 2 小时前AI 评分47

BABA-Bench 评估长程患者倡导智能体

BABA-Bench: Evaluating Long-Horizon Patient-Advocacy Agents

AI 导读

BABA-Bench 发布,包含 47 个交互世界,用于评估 14 个前沿大模型在患者倡导场景中的能力。 基准共进行 1,974 次运行,发现 28% 达成结果的路径无效;提供验证路径后,模型通过率显著提升至 91.5% 和 97.2%。

来源:arXiv · AI · arxiv.org