跳到正文
arXiv · NLP· Paul Litvak·· 10 天前AI 评分43

AI 同行评审效果基准:100 个植入错误下的模型表现分析

How Well Does AI Peer Review Work? A Benchmark Built from 100 Planted Errors

AI 导读

研究者向 10 篇开放获取心理学期刊论文植入 100 个已知错误,测试前沿模型及商业 AI 审稿工具的效果。 最佳单一系统识别出 71 个错误,最差仅 30 个;整合所有系统输出可捕捉 93 个,其中 7 个全系统漏检的错误均为删减遗漏。 该公开基准数据集及实验日志可供跨学科评估使用,但尚未衡量误报率或与真实论文错误分布的对比。

来源:arXiv · NLP · arxiv.org