跳到正文
arXiv · NLP· Talor Abramovich, Gal Chechik·· 11 天前AI 评分32

AblationBench:评估实证AI研究中的消融实验自动规划

AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research

AI 导读

提出AblationBench基准,用于评估LM智能体在实证AI研究中规划消融实验的能力,包含AuthorAblation(83实例)和ReviewerAblation(350实例)两个任务。 前沿LM系统表现受限,最优LM在AuthorAblation任务中平均仅识别45%的原始消融,低于人类水平;链式思维(CoT)提示词表现优于基于智能体的方法。 该基准已发布并发表于EMNLP 2026。

来源:arXiv · NLP · arxiv.org