arXiv · NLP· Rui Wang, Zishen Lai, Jiayu Liu, Cheng Qian, Jeonghwan Kim, Heng Wang, Xuejun Zhang, Jiateng Liu, Bingxuan Li, Shujin Wu, Qing Zong, Tianshi Zheng, Chunyang Li, Qihan Lin, Chen Li, Dadi Guo, Xiusi Chen, Yangqiu Song·· 4 小时前AI 评分21
AdaExploreBench 提出 LLM 智能体在动态环境中的主动探索与测试时自适应基准
AdaExploreBench: Benchmarking LLM Agents for Proactive Exploration and Test-time Adaptation in Evolving Environments
AI 导读
针对现有基准缺乏对 LLM 智能体在演变环境中主动探索和自适应能力的测试，研究者提出了 AdaExploreBench 基准，通过隐藏规则模拟环境动态，要求智能体主动获取证据并推断规则变化。 在八款主流 LLM 的实验中，表现最优的 GPT-6 Sol 校准准确率仅为 61.9%；结果显示，提供充分证据或消除规则漂移可使平均性能显著提升近 10%。
来源：arXiv · NLP · arxiv.org