arXiv · NLP· Songjun Tu, Yiwen Ma, Jiahao Lin, Qichao Zhang, Xiangyuan Lan, Junfeng. Li, Nan Xu, Linjing Li, Dongbin Zhao·· 6 小时前AI 评分30
PaperAudit-Bench: 用于评估自动同行评审中错误检测能力的基准测试
PaperAudit-Bench: Benchmarking Error Detection in Research Papers for Critical Automated Peer Review
AI 导读
研究提出 PaperAudit-Bench，包含 220 篇 AI/ML 论文及 2200 个合成错误，用于评估 LLM 的论文级错误检测能力。 Qwen3-14B 在固定留出协议下的 Detection@1 达到 55.8% F1；该基准已应用于中科院科学基础模型平台 ScienceOne 的手稿评审。
来源：arXiv · NLP · arxiv.org