arXiv · NLP· Wenqi Pei, Xinyu Wang, Jinrui Liu, Cynthia Zhuge, Jie Sheng, Zihan Wang, Tenghao Huang, Muhao Chen·· 21 天前AI 评分41
HALO: 基于人类评判的主动智能体细粒度评估框架
HALO: Human-Grounded Granular Evaluation of Proactive Agents
AI 导读
HALO框架针对主动智能体引入细粒度评估,其测试集HALO-8K包含10个模型在400场景下的8000条响应,由20名专家标注。 最高性能闭源与开源模型的可接受率分别为72.88%和56.63%,研究显示过度主动是主要失效模式,占被拒响应61.20%。
来源:arXiv · NLP · arxiv.org