arXiv · AI· Yangshen Deng, Jiaqi Ruan, Yeqi Huang, Nick Lau, Guangming Sheng, Luo Mai·· 5 小时前AI 评分44
InfraDev：代码智能体能否开发 AI 基础设施及如何评估
InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?
AI 导读
InfraDev 基准由 36 个源自 Megatron-LM、vLLM 和 verl 的真实 PR 任务组成，用于评估代码智能体在分布式 AI 基础设施开发中的表现。 该基准联合生成隐藏探针和提示词进行评分，共享执行环境使存储减少 52-57%，构建时间减少 13-14%。 六个前沿模型中表现最好者仅解决 38.9% 的任务，探针拒绝了 32% 通过官方测试但错误的提交。
来源：arXiv · AI · arxiv.org