arXiv · AI· Siddharth Jain, Venkat N. Vedam·· 5 小时前AI 评分28
评估 AI Agent 重启监控的决策价值框架:分类准确率并非唯一答案
Monitor Accuracy Isn't the Answer: A Decision-Value Framework for Evaluating AI Agent Restart Monitors
AI 导读
研究表明,90%准确率的监控器对成功率的影响可能从下降5个百分点到上升35个百分点,取决于重启尝试的剩余预算成功率。 作者提出了决策充分性判据和模型无关决策审计两种评估技术,并在 SWE-bench Verified 的19个 SymPy 任务中进行了验证。 该框架强调通过恢复机会和决策价值而非单纯分类性能来评估监控器。
来源:arXiv · AI · arxiv.org