跳到正文
arXiv · AI· Zhaohe Dong·· 13 小时前AI 评分30

自动化审计上限:从通用代码到科学代码的结果与数据

What Moves the Ceiling on Automated Audit: from General Code to Scientific Code, Results and Data

AI 导读

模型审计器在通用代码中召回率仅 30.0%,在科学代码中通过重构任务将错误标记从 68.7% 降至 36.0%。 在三项预注册研究中,确定性检查标记 49/49 不一致报告;文档验证器与模型审计器共标记 112/140 错误数据项。 研究表明模型审计存在显著局限,需结合确定性检查以弥补一致错误识别的不足。

来源:arXiv · AI · arxiv.org