跳到正文
arXiv · AI· Harsh Raj, Niranjan Orkat, Suvrorup Mukherjee, Aritra Guha, Cheryl Flynn, Subhabrata Majumdar·· 10 天前AI 评分36

通过一致性检验评估 AI Agent 可靠性:统计方法在 NeurIPS 2026 发表

Consistency as a Testable Property: Statistical Methods to Evaluate AI Agent Reliability

AI 导读

论文提出基于 U-statistics 和核指标的统计框架,用于量化 AI Agent 在语义保留扰动下的一致性。 该方法在三个 agentic benchmark 实验验证,显示轨迹级一致性指标比传统 pass@1 具有更高的诊断灵敏度,能区分核心能力与执行鲁棒性。 该框架有助于识别阻碍 Agent 在高风险环境中部署的架构问题。

来源:arXiv · AI · arxiv.org