arXiv · NLP· Runyang You, Hongru Cai, Caiqi Zhang, Qiancheng Xu, Meng Liu, Tiezheng Yu, Yongqi Li, Wenjie Li·· 4 天前AI 评分20
Agent-as-a-Judge:定义智能体主动评测框架
Agent-as-a-Judge
AI 导读
Agent-as-a-Judge 提出主动评测范式,通过多智能体协作、工具集成与规划获取缺失证据,弥补固定上下文 LLM 判官的不足。 该框架定义了结构化工作流与观察驱动控制的设计空间,并整理复现关键智能体判官的基准分数,揭示了不均衡的智能体增益。 研究指明了成本、可靠性及治理等开放挑战,为大规模部署可信智能体判官提供依据。
来源:arXiv · NLP · arxiv.org