Ai2发布基准揭示LLM科研新颖度评估极不稳定
先了解这件事
2026年10月9日，研究团队在X平台分享论文《Old Ideas, Novel Problems》，指出提示词设计的微小变化会导致LLM评估结果剧烈波动。随后该研究在arXiv正式发布，系统挖掘OpenReview数据构建评估集，对比6个评判者发现，微小提示词设计选择可导致配对准确率波动超50个百分点，甚至降至随机猜测水平。 10月28日，Ai2官方博客宣布发布该研究，并同步推出用于测试新颖度裁判的基准、数据与代码，以及一个供研究者构建新评估集的自动化管道。官方测试数据显示，在包含154个高新颖度与145个低新颖度想法的测试集中，检索与增加推理预算未能稳定提升判断，两个专用系统甚至劣于最便宜的基线模型，揭示了当前AI科研辅助系统区分原创与旧有工作的局限。
AI 根据报道生成 · 2 小时前更新
事件进展
2 个进展
- 10月28日 00:12 · 1 篇报道Ai2发布研究LLM评估科研新颖性的基准与代码Hugging Face Blog：研究测试 LLM 判断科研想法新颖度的可靠性
- 10月9日 06:52 · 2 篇报道提出LLM新颖度评估不稳定性研究论文arXiv · NLP：LLM 新穎性評估不穩定性研究：舊有新問題的系統性分析
报道时间线
沿着报道，了解事件的不同侧面。
- Hugging Face Blog研究测试 LLM 判断科研想法新颖度的可靠性
Ai2 发布基准测试，显示 6 款 LLM 裁判对新颖度判断极不稳定。 仅修改提示词少量词汇，模型准确率偏差超 50 个百分点。 测试含 154 个人类高新颖度与 145 个低新颖度想法。 检索与额外推理未能稳定提升判断，专用系统甚至劣于基线模型。 这揭示了当前 AI 科研辅助系统在区分原创与旧有工作上的局限。
- arXiv · NLPLLM 新穎性評估不穩定性研究：舊有新問題的系統性分析
系统研究发现 LLM 充当新颖性评判者时极不稳定，微小的提示词设计选择会导致配对准确率波动超 50 点，甚至降至随机猜测水平。 研究挖掘 OpenReview 数据构建评估集，对比 6 个评判者，证实检索和增加推理预算帮助有限，两个专用评估器表现不及最便宜的基线。 这些结果对自动化创意系统报告的新颖性增益提出质疑，呼吁开发更稳健的新颖性评估方法。
- AK (@_akhaliq) (X)LLM新颖性评估稳定性挑战
旧想法，新问题 基于 LLM 的新颖性评估的不稳定性 论文：https://huggingface.co/papers/2610.02022 ```
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。