arXiv · AI· Amey Rambatla (Cisco), Vatsal Goel (Cisco), Sagar Gaur (Cisco), Siddhant Loya (Cisco), Anurag Mishra (Cisco), Asif Mohammad (Cisco)·· 3 小时前AI 评分22
Signals:基于 45 种问题分类法对 AI 智能体进行连续诊断
Signals: Continuous Diagnostics of AI Agents
AI 导读
Signals 方法通过 45 种问题类型分类法从 AI 智能体执行轨迹中识别故障并提出修复建议,在公共测试中匹配基准问题 F1 达 91.43%。 该方法区分已发生故障、风险暴露与低效,将发现归纳为严重度可评估的“Signal”,并附带开发者操作与验证检查项。 比使用同一模型和分类法的单次 LLM 对照高约 18 个百分点。
来源:arXiv · AI · arxiv.org