arXiv · NLP· \'I\~nigo Zubeldia, Boris Bolliet, Francisco Villaescusa-Navarro, Pablo Villanueva-Domingo, Miles Cranmer·· 7 天前AI 评分33
Skepthical 基准:基于真实论文的 AI 同行评审审计
Auditing AI peer reviewers: a benchmark on real scientific papers
AI 导读
研究者发布 Skepthical 多智能体评审基准,在 15 篇天体物理与机器学习 arXiv 论文中注入 357 个可定位错误,用于衡量 12 个评审系统的检测率与误报率。该基准涵盖通用问题、数学、数值及引用四类错误,并通过检索、计算机代数与代码执行进行验证。结果表明,模型选择对检测率影响最大,强制引用检索使 Skepthical 在天体物理引用错误检测上取得最高成绩。
来源:arXiv · NLP · arxiv.org