IdeaTaste基准显示LLM科研品味远逊人类

研究者Shanshan Zhong等人发布IdeaTaste基准测试，用于评估大语言模型是否具备人类科研品味。该基准通过比较LLM基于2025年文献快照生成的研究提案与同一社区2026年实际发表工作的契合度进行评分。 IdeaTaste测试涵盖6个语言模型和4个研究领域，生成了超过90,000份研究提案。结果显示，LLM在引用匹配和创意匹配上仅达到人类水平的26%和18%，存在显著差距，表明AI科研瓶颈在于将方向转化为具体方法。 作为开源排行榜，IdeaTaste持续更新评测数据。研究发现，仅增加上下文长度或模型规模未能有效缩小LLM与人类社区在科研品味上的差距，该基准旨在客观量化这一差距。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。