跳到正文
arXiv · AI· Ethan Ji, Wei Wang, Yizhou Sun·· 16 天前AI 评分36

Unsatz:评估无预设假设的科学发现基准

Unsatz: Evaluating Scientific Discovery Without a Given Ansatz

AI 导读

Unsatz 基准测试要求 LLM agent 自主构建科学模型的 ansatz。在 80 个系统任务中,9 个语言模型的解题率介于 21% 至 60% 之间。 agent 需在预算内购买实验并编写候选程序,仅按未见数据的预测效果评分。结果显示模型擅长发现变量结构,但难以精准掌握变量间的相互作用机制。

来源:arXiv · AI · arxiv.org