跳到正文
arXiv · AI· Ruifeng Ren, Gun Ahn·· 14 天前AI 评分31

闭环智能体评估:分层测量与自校准

Closed-Loop Agent Evaluation: Layered Measurement and Self-Calibration

AI 导读

针对部署后智能体的评估需求,论文提出一种将评估建模为有偏评分员与删失结果下的绩效估计的闭环方法。该方法在span、trace、conversation和engagement四个层级进行分析,使用SharpInsight智能体案例及公开对话数据展示分层判断可靠性更高(ICC 0.86 vs. 0.81; kappa 0.81 vs. 0.63)。

来源:arXiv · AI · arxiv.org