ReplayRCA 基准发布评估 AI 故障修复

2026年11月2日，Jeremy Canale 等人发布 ReplayRCA 基准及 OpsWorld 环境评估代码，旨在通过反事实重放机制衡量智能体的事后诊断与实时监督能力。 在该基准的62个案例中，Grok 4.7 表现最优，通过“因果修复”评分获得+51.3分；相比之下，GPT-6.1 Sol 在87次实时监督运行中表现最差，得分为-14.5分，且该数据证明事后诊断能力并非实时监督的有效代理指标。 该研究环境及评测代码已公开，支持多模态任务，为评估模型在智能体失败场景下的干预修复能力提供了标准化手段。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。