跳到正文
arXiv · ML· Zhuoyang Liu, Ning Peng, Ming Shen, Zijun Gao·· 10 天前AI 评分33

Causal Discovery Bench 揭示 LLM 自主实验中实验设计缺陷远多于推理错误

Causal Discovery Bench: Can LLMs Autonomously Conduct Effective Experiments?

AI 导读

Causal Discovery Bench 基准测试在 3,802 个回合中评估 5 家厂商的 13 个 LLM,发现 94.5% 的错误源于实验设计而非推理。 测试包含 7 大类 40 项指标,验证单实验设计到自主冲突解决的四级难度层级,基础统计工具显著提升了多模型族的性能。

来源:arXiv · ML · arxiv.org