跳到正文
Seven Minute Feed·· 14 天前AI 评分52

CloudOpsBench评测显示顶级AI Agent在真实AWS运维任务中失败率超40%

CloudOpsBench: best AI agents fail 40%+ of real AWS DevOps tasks

AI 导读

密歇根大学研究人员发布开源基准测试CloudOpsBench,包含45项基于AWS的真实DevOps任务。Claude Fable 5.1的解决率为60%,GPT-6 Astra为53%。约80%的失败源于推理缺陷(如任务范围误判、遗漏相关服务或提前终止),剩余20%为错误操作(部分不可逆),GCP、Azure和OCI支持计划中。

来源:Seven Minute Feed · github.com