跳到正文
arXiv · AI· Hayoung Jung, Pedro Viana Diniz, Jos\'e Reinaldo Corr\^ea Roveda, Abner Fernandes da Silva, Haeun Jung, Enoch Tsai, Aleksandra Korolova, Manoel Horta Ribeiro·· 9 天前AI 评分47

SciConBench 揭示健康领域 AI 智能体科学结论综合能力不足

Can AI Agents Synthesize Scientific Conclusions in Health?

AI 导读

针对健康领域 AI 智能体结论综合能力的未知,研究提出 9.21K 问题的 SciConBench 基准,并配套 SciConHarness 隔离环境以防止数据泄露。 在清洗后的评估中,前沿模型表现不佳,最佳智能体事实 F1 仅 0.337,远低于无约束环境下的估计。 研究还发现 Google AI Overview 等消费级产品常生成不完整甚至矛盾的结论,表明可靠科学综合仍面临重大挑战。

来源:arXiv · AI · arxiv.org