arXiv · NLP· Haoyu Zhao, Sitian Tu, Yuxuan Huang, Huichi Zhou, Zhangyue Yin, Jiahao Huang, Jingyuan Xu, Tianmiao Shi, Jin Shi, Nianxi Zhang, Yangmiao Zhang, Zhuolang Chan, Huiyan Hu, Chenchao Sheng, Yaqing Luo, Yue Chen, Huaxiu Yao, Meng Fang, Jun Wang·· 3 小时前AI 评分45
CLE：评测大模型智能体长期视野RSI与经验学习的基准
Continual Learning Exam: Benchmarking Long-Horizon RSI and Experiential Learning in LLM Agents
AI 导读
CLE基准发布，含89种职业120项五层级任务，用于衡量LLM智能体从经验中提升的能力。 17种前沿LLM配置测试显示，反馈与修改使完成率中位提升5.3个百分点，最佳系统仅通过47.7%层级。 该数据集可用于后训练LLM以增强其持续学习能力。
来源：arXiv · NLP · arxiv.org