研究测试 LLM 判断科研想法新颖度的可靠性

Ai2 发布基准测试，显示 6 款 LLM 裁判对新颖度判断极不稳定。 仅修改提示词少量词汇，模型准确率偏差超 50 个百分点。 测试含 154 个人类高新颖度与 145 个低新颖度想法。 检索与额外推理未能稳定提升判断，专用系统甚至劣于基线模型。 这揭示了当前 AI 科研辅助系统在区分原创与旧有工作上的局限。