arXiv · AI· Oliver Jaffe, Dane Sherburn·· 2026-10-06AI 评分30
TasteVal 基准评估 AI 系统的实验研究品味
TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
AI 导读
TasteVal 是评估前沿模型实验研究品味的基准,定义为迭代设计实验并得出结论的能力。 最佳模型 Opus 5.5 超越人类专家基线,计算倍数为 2.3x,成本约为基线者的 1/30。 自 2025 年 12 月起,前沿模型的计算倍数值每 3.0 个月翻一番,旨在推动 AI 进展预测。
来源:arXiv · AI · arxiv.org