InfraDev基准评估代码智能体开发AI基础设施能力

InfraDev团队发布了InfraDev基准，该基准由36个源自Megatron-LM、vLLM和verl真实PR的任务组成，覆盖训练、推理和强化学习的基础设施开发。每个任务要求智能体重现跨多文件、需在多GPU上正确运行的真实变更。 评估采用联合生成隐藏探针和提示词进行评分，并共享执行环境。此设计使存储减少52-57%，构建时间减少13-14%。六个前沿模型测试中，表现最佳者仅解决38.9%的任务，探针还拒绝了32%通过官方测试但实际错误的提交。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。