跳到正文
arXiv · NLP· Alexander Boesgaard Lorup·· 12 小时前AI 评分26

Openhagen Worlds:校准环境用于测量和训练科学发现智能体

Openhagen Worlds: Calibrated Environments for Measuring and Training Scientific Discovery Agents

AI 导读

Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。

来源:arXiv · NLP · arxiv.org