arXiv · AI· Yingqian Wu, Jingcong Liang, Shengbin Yue, Siyuan Wang, Zhenfei Yin, Junchi Yu, Zhongyu Wei·· 17 天前AI 评分31
RAP: 评估 LLM 智能体研究注意力预测能力的文献检索基准
RAP: Research Attention Prediction in Language Agents
AI 导读
研究人员推出 RAP 基准,基于 356,357 篇 arXiv 论文构建本地检索环境,包含覆盖 54 个领域的 Core 集(2,160 题)和覆盖 269 个领域的 Extended 集,用于评估 LLM 智能体预测研究趋势的能力。 测试显示,增强检索能显著提升强智能体识别近期变化的能力,但预测未来收益有限甚至为负;智能体虽能调整调查策略,仍难以准确预测未来研究方向的转变。
来源:arXiv · AI · arxiv.org