arXiv · ML· Sy-Tuyen Ho, Minghui Liu, Huy Nghiem, Furong Huang·· 7 小时前AI 评分34
SoundnessBench 揭示 LLM 在科研创意筛选中的乐观偏差
SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones?
AI 导读
针对 1,099 个真实科研提案，12 个前沿 LLM 在标准提示下平均误报率高达 74.0%，暴露出显著的判断局限。 激进提示虽降低误报但大幅增加误拒，且在排除数据污染后乐观偏差依然存在。 结果显示当前 LLM 尚不可靠作为科研严谨性的独立守门人。
来源：arXiv · ML · arxiv.org