跳到正文
热点事件持续更新

SEER-Repro基准验证LLM智能体77.4%科学结论复现率

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月19日,arXiv发布研究展示SEER-Repro基准与AI智能体鲁棒性分析流水线。该基准包含20篇基于SEER数据库的已发表论文及其复现所需数据与资源。研究团队(Shicheng Liu等)开发的LLM智能体在测试中成功复现了2,190个原子结论中的77.4%。 分析管道进一步评估了复现结论的稳健性,识别出9.5%的已复现结论存在潜在关键分析选择,并标记这些案例供专家评审。研究认为,LLM智能体通过自动化复现与鲁棒性测试,能有效支持科学审查工作,为提升科学研究的可重复性提供了新工具。

AI 根据报道生成 · 5 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · NLP
    LLM agents 在 SEER-Repro 基准中的自动化复现与分析鲁棒性测试

    LLM agents 在 SEER-Repro 基准(含 20 篇论文)中成功复现了 2,190 个原子结论中的 77.4%。 分析管道识别出 9.5% 的已复现结论存在潜在关键分析选择,并标记以供专家评审。 这些结果证明 LLM agents 能通过自动化复现和鲁棒性测试,有效支持科学审查工作。

本事件热度走势

可比范围当前
8
可比范围峰值
910月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。