arXiv · ML· Jiarui Yan, Weiwei Sun, Sijie Li, Wenhan Li, Yiming Yang·· 10 天前AI 评分48
TraceML:揭示长期机器学习开发中自动研究智能体的缺失环节
TraceML: What Auto-Research Agents Miss in Long-Horizon ML Development
AI 导读
TraceML 引入了一个包含 4,465 条人类 Kaggle 轨迹和 637 条智能体轨迹的配对数据集,旨在量化自动研究智能体与人类专家在竞赛中的差距来源。 分析显示,人类专家会在数据、验证和模型调整间灵活切换,而 Codex 和 MLEvolve 等智能体则陷入狭窄的循环,缺乏灵活变通。 该研究发布了 TraceML 语料库、标签模型及开源工具包,将指令优化局限于缩小可归因于指令的部分差距。
来源:arXiv · ML · arxiv.org