机器之心·· 6 天前精选AI 评分78
清华团队推出 OSWorld-Science 评测基准：12 个视觉语言模型科研软件操作平均得分仅 34.3%
AI真能用好科研软件吗？清华团队推出OSWorld-Science，智能体迎接硬核大考
AI 导读
清华大学等机构推出面向真实科研场景的智能体评测基准 OSWorld-Science，包含 146 项专家设计的任务，涵盖 7 大科学领域和 14 种科研软件配置。
推荐理由
该基准揭示了视觉语言模型在复杂科研软件操作中的具体失败模式与成本差异，为评估智能体实际执行能力提供了可复用的数据与方法。
来源：机器之心 · mp.weixin.qq.com