arXiv · AI· Jeremy Canale, Fabien Soulis·· 2 小时前AI 评分29
ReplayRCA：通过反事实重放衡量智能体失败的事后诊断与实时监督
ReplayRCA: Measuring Post-hoc Diagnosis and Live Oversight of Agent Failures by Counterfactual Replay
AI 导读
基准 ReplayRCA 引入“因果修复”评分机制，让模型修复智能体失败。最优模型 Grok 4.7 在 62 个案例中取得 +51.3 分。 在 87 次实时监督运行中，GPT-6.1 Sol 表现最差（-14.5 分），证明事后诊断能力并非实时监督的好代理指标。 环境及评测代码已公开，支持多模态任务。
来源：arXiv · AI · arxiv.org