Seven Minute Feed·· 14 天前AI 评分52
CloudOpsBench评测显示顶级AI Agent在真实AWS运维任务中失败率超40%
CloudOpsBench: best AI agents fail 40%+ of real AWS DevOps tasks
AI 导读
密歇根大学研究人员发布开源基准测试CloudOpsBench,包含45项基于AWS的真实DevOps任务。Claude Fable 5.1的解决率为60%,GPT-6 Astra为53%。约80%的失败源于推理缺陷(如任务范围误判、遗漏相关服务或提前终止),剩余20%为错误操作(部分不可逆),GCP、Azure和OCI支持计划中。
来源:Seven Minute Feed · github.com