arXiv · AI· Soroush Ebadian, Parand A. Alamdari, Joe Benton, Hailey Joren·· 4 小时前AI 评分40
Tampered ML：评估 LLM 判断机器学习研究缺陷的能力
Tampered ML: Evaluating LLM Judgment of Machine Learning Research
AI 导读
研究团队发布 Tampered ML 基准，包含 1,858 个实验提案对，用于评估 LLM 识别方法论缺陷的能力。 人类验证显示 86% 条目有效，Opus 5 准确率达 77.9%。模型对呈现顺序敏感，且偏向看似具体透明的有缺陷设计。 该基准已被 EMNLP 2026 主会议接收，用于推进 AI 对齐研究自动化。
来源：arXiv · AI · arxiv.org