跳到正文
arXiv · AI· Oliver Jaffe, Dane Sherburn·· 2026-10-06AI 评分30

TasteVal 基准评估 AI 系统的实验研究品味

TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts

AI 导读

TasteVal 是评估前沿模型实验研究品味的基准,定义为迭代设计实验并得出结论的能力。 最佳模型 Opus 5.5 超越人类专家基线,计算倍数为 2.3x,成本约为基线者的 1/30。 自 2025 年 12 月起,前沿模型的计算倍数值每 3.0 个月翻一番,旨在推动 AI 进展预测。

来源:arXiv · AI · arxiv.org