arXiv · AI· Pengcheng Zhou, Xuanyu Liu, Yanchen Yin, Tianjie Ju, Bobo Li, Shengqiong Wu, Hao Fei, Mong-Li Lee, Wynne Hsu·· 7 天前AI 评分20
LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds
LiveGeo: Benchmarking Geographic Agents in Continuously Evolving Worlds
AI 导读
研究团队推出 GeoWorld 平台及 LiveGeo 基准,用于评估 LLM 智能体在持续演变地理环境中的可靠决策能力。 GeoWorld 基于真实地理结构并允许外部状态随时间演变,LiveGeo 要求智能体获取信息、验证证据有效性并修订计划。 即使前沿 LLM 在静态任务中也表现挣扎,且静态高性能不保证动态可靠性,获取并转化相关证据成为关键瓶颈。
来源:arXiv · AI · arxiv.org