arXiv · AI· Ethan Ji, Wei Wang, Yizhou Sun·· 16 天前AI 评分36
Unsatz:评估无预设假设的科学发现基准
Unsatz: Evaluating Scientific Discovery Without a Given Ansatz
AI 导读
Unsatz 基准测试要求 LLM agent 自主构建科学模型的 ansatz。在 80 个系统任务中,9 个语言模型的解题率介于 21% 至 60% 之间。 agent 需在预算内购买实验并编写候选程序,仅按未见数据的预测效果评分。结果显示模型擅长发现变量结构,但难以精准掌握变量间的相互作用机制。
来源:arXiv · AI · arxiv.org