arXiv · NLP· Shanshan Zhong, Chen Xu, Jingjie Ning, Zhengzhong Liu, Aviral Kumar, Chenyan Xiong·· 7 小时前AI 评分25
IdeaTaste 基准：评估大语言模型是否具备人类科研品味
IdeaTaste: Do LLMs Share the Research Taste of Human Researchers?
AI 导读
IdeaTaste 基准测试显示，LLM 在引用匹配和创意匹配上仅达人类水平的 26% 和 18%，存在显著差距。 该基准涵盖 6 个语言模型和 4 个研究领域，生成了超过 90,000 份研究提案。增加上下文或规模均未能有效缩小与人类社区的差距。 研究表明 AI 科研瓶颈在于将方向转化为具体方法，IdeaTaste 作为开源排行榜持续更新评测。
来源：arXiv · NLP · arxiv.org