arXiv · AI· Xiaobo Wang, Zimu Wang, Siyu Ye, Jiaqi Li, Min Tang, Jun Bai, Yuling Shi, Ruobing Wang, Jingjing Zhang, Chaofan Wang, Kai Wu, Mengnan Qi, Kai Cai, Xiaodong Gu, Qi Liu, Zilong Zheng·· 23 小时前AI 评分33
Agent harness 递归自我改进的基准得分与可靠性权衡
Beneath the Surface: What We Overlook When We Talk About Agent Evolution
AI 导读
研究评估 Agent harness 进化在通用与编码任务中的可靠性，发现 16 个进化代理均出现任务覆盖置换现象。 可靠性提升 5.2 点的同时失去 10 个原有任务覆盖，且部署成本增加，最优代理未必带来最大平均改进。 EvoAudit 工具将这些诊断转化为修订流程，实现了最佳性能。
来源：arXiv · AI · arxiv.org