跳到正文
arXiv · AI· Jackson Clark, Yiming Su, Saad Mohammad Rafid Pial, Yifang Tian, Lily Gniedziejko, Hans-Arno Jacobsen, Yinfang Chen, Tianyin Xu·· 3 天前AI 评分32

SREGym 提出高保真 AI SRE 智能体实时基准测试

SREGym: A Live Benchmark for AI SRE Agents with High-Fidelity Failure Scenarios

AI 导读

SREGym 是面向 SRE 智能体的高保真实时基准,包含 90 个现实 SRE 任务,基于真实云原生系统栈通过故障注入器模拟多层级故障、环境噪声及亚稳态失败。 评估显示前沿智能体在不同故障类型上的端到端性能存在最高 40% 差异,该开源项目已被研究人员和从业者用于测试。

来源:arXiv · AI · arxiv.org