arXiv · NLP· Jiahang Lin, Wanying Ren, Wanghan Xu, Huayu Sha, Yang Shu, Zhonghang Lu, Chengjun Pan, Yi Dong, Shichun Liu, Yuyang Hu, Shihan Dou, Honglin Guo, Huijie Lv, Pujun Zheng, Zhe Sun, Yuankai Ying, Yiding Wang, Jiahao Chen, Zhixiong Yang, Dingbo Yuan, Yicheng Zou, Zhecan Wang, Guoxiu He, Xiaoyu Xing, Qi Zhang, Tao Gui, Xuanjing Huang·· 9 天前AI 评分45
ARE-bench:在真实研究会话与工作区中评测 Agent 研究能力
ARE-bench: Benchmarking Agents' Research Ability in Real-World Researcher Sessions and Workspaces
AI 导读
ARE-bench 发布 75 个基于真实研究者项目的任务,涵盖 7 个研究阶段、33 项需求及 1173 个二元检查项。 在七个前沿模型中,最强模型仅通过 66.2% 的任务所有检查项;一旦加入历史与工作区上下文约束,通过率骤降至 28.4% 至 40.0%。 这表明忽略上下文要求的评测会高估研究 Agent 的真实交付能力。
来源:arXiv · NLP · arxiv.org