arXiv · AI· Yuan Gao (Wanxiang), Zeren Yang (Wanxiang), Junnan Li (Wanxiang), Shawn (Wanxiang), Zhong, Ahmed Dajani, Mai Zheng, Andrea Arpaci-Dusseau, Remzi Arpaci-Dusseau·· 14 小时前AI 评分35
InfraBench：评估跨层级、生命周期与风险的基础设施智能体
InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk
AI 导读
InfraBench 发布 12 项种子任务基准，18 种智能体模型配置在 3 次尝试中平均有效得分介于 45.5% 至 89.2% 之间，最强配置 77.8% 完全通过。 生命周期检查通过率显示功能修复达 91.5%，但持久性降至 80.9%，清理仅为 38.9%，表明即时恢复并非完整运维能力指标。该基准及评测框架已开源，计划扩展至 40-60 项任务。
来源：arXiv · AI · arxiv.org