跳到正文
Hacker News AI· dvaplima·· 5 小时前AI 评分64

Vetto ScienceBench 发布:前沿AI模型在科学数据分析任务中最高通过率仅49%

Vetto ScienceBench: Expanding Scientific Capabilities of Frontier AI Models

AI 导读

Vetto 发布了 ScienceBench,包含14个学科、50个可验证的数据分析任务,用于评估前沿模型的科学判断力。测试13个模型显示,表现最好的模型通过率仅为49%,且5个任务无模型解决。分析表明,65%的失败源于模型已发现数据异常但误判或错误处理,而非代码错误;简单的警告提示虽提升通过率10个百分点,但无法解决模型缺乏科学推理判断的根本缺陷。

来源:Hacker News AI · vetto.ai