跳到正文
arXiv · AI· Matt Wilde, Jillian Fisher, Andrew B. Hall, Kathryn Salam, Robbie Goldfarb·· 1 天前AI 评分27

NewsBench:基于专家标准评估AI新闻报道认知质量的基准

NewsBench: Expert-Grounded Evaluation of Epistemic Quality in AI News Reporting

AI 导读

针对现有评估依赖非专家标注的缺陷,研究提出NewsBench基准,依托新闻与情报领域资深专家制定编辑标准,从来源质量、事实性及中立性三个维度重构评估体系。 该基准包含约3,000个评估提示词,其中每月刷新约500个,并结合约2,500个人工专家标注项用于校准,通过验证专家间一致性及AI裁判与人类专家的一致性确认方法可靠性。

来源:arXiv · AI · arxiv.org