跳到正文
arXiv · NLP· Yusheng Zhao, Bowei He, Xue Liu, Mingxiao Li·· 21 天前AI 评分33

SciGame:基于反事实环境的科学发现大模型智能体基准

SciGame: Let Agents Play the Scientific Discovery Games in the Real and Counterfactual World

AI 导读

SciGame 是一个将科学文献转化为结构化卡片的受控基准,生成包含相同任务界面的原环境与维度一致的反事实环境。基准涵盖历史定律及模型知识截止后论文组成的实时时序集合,在候选引导识别与开放式发现两种设置下测试智能体。 实验表明,在改变支配关系后熟悉的先验知识会损害性能;自适应实验对强模型有益但对弱模型有害;优秀的解释可能掩盖定量失败,恢复精确符号形式仍是主要瓶颈。

来源:arXiv · NLP · arxiv.org