arXiv · ML· Howard Zhang, Chuck Arvin, Logan Brown, Mihir Bhatia, Neelu Choudhary, Lily Miao·· 9 天前AI 评分42
企业分析智能体评估框架对比研究:稳定性、检测与发现
Comparative Analysis of Agent Evaluation Frameworks: Stability, Detection, and Discovery in Enterprise Analytics Agents
AI 导读
三项评估框架在企业分析智能体上的对比研究显示,97%的配置满足稳定性阈值,trace-based框架在72个已知风险用例中取得最佳F1=0.90。 text-only评估虽召回率相同但误报增加5倍,功能测试与红队测试发现的24个新型失败零重叠。 建议采用trace-based评估与对抗性红队测试相结合的双框架策略。
来源:arXiv · ML · arxiv.org