四项研究表明LLM对顶刊文章盲审分歧显著

近期arXiv发布了一项关于大型语言模型（LLM）作为顶级期刊审稿人表现的研究，涉及四项具体实验。研究中，四项实验共使用了四款当前的LLM，包括两款专有模型和两款开放权重模型。这些模型在盲审协议下，对200篇2026年发表于Nature等顶级期刊且采用CC BY 4.0许可的文章进行独立评审。 结果显示，LLM的审稿意见存在显著分歧。在总共800条审稿意见中，有75.6%（即605条）的建议为“大修”或“拒稿”。这一数据反映了当前LLM在模拟同行评审过程中，对同一批已发表的高质量顶刊文章给出的评价与人类审稿人或期刊最终接受结果可能存在较大差异。

AI 根据报道生成 · 58 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。