跳到正文
arXiv · NLP· Qituan Zhang, Guo Chen, Linfeng Zhang, Wenlong Zhang·· 5 小时前AI 评分33

PHYRD:理论与物理研究的活体基准测试

PHYRD: A Living Benchmark for Reproducing and Extending Theoretical Physics Research

AI 导读

引入针对理论物理推理的活体基准 PHYRD,包含 63 道 Reproduce 和 43 道 Discover 题目。 五个模型在 Reproduce 任务上的全题准确率为 49.21% 至 68.25%,在闭卷 Discover 任务上为 18.60% 至 74.42%。

来源:arXiv · NLP · arxiv.org