arXiv · NLP· Fangzhi Xu, Hang Yan, Qiushi Sun, Jinyang Wu, Zixian Huang, Muye Huang, Jingyang Gong, Zichen Ding, Kanzhi Cheng, Yian Wang, Xinyu Che, Zeyi Sun, Jian Zhang, Zhangyue Yin, Haoran Luo, Ben Kao, Qika Lin·· 4 小时前AI 评分33
OdysseyArena：面向长程、主动与归纳交互的大语言模型评测基准
OdysseyArena: Benchmarking Large Language Models For Long-Horizon, Active and Inductive Interactions
AI 导读
研究者提出 OdysseyArena 基准，通过 120 个任务测量智能体在长程交互中的归纳效率与发现能力。 该基准引入 OdysseyArena-Lite 用于标准化测试，并设有超过 200 步的极端交互场景以检验智能体稳定性。 对 15 余个领先大语言模型的实验表明，即便是前沿模型在归纳场景中仍存在显著缺陷。
来源：arXiv · NLP · arxiv.org