LessWrong · All Posts· Ollie J·· 2026-10-06AI 评分58
TasteVal:衡量AI系统实验研究品味的基准
TasteVal: Measuring the Experimental Research Taste of AI Systems Against Human Experts
AI 导读
TasteVal 是一个衡量 AI 模型在 AI 研发任务上实验研究品味的基准,将品味操作化为达到给定分数所需的实验算力效率。该基准包含 8 个新颖任务,涵盖预训练数据筛选、模型微调、偏好建模和对抗提示鲁棒性,由 24 位来自 OpenAI、Google DeepMind、NVIDIA 和 Microsoft Research 的专家提供人类基线。
来源:LessWrong · All Posts · lesswrong.com