arXiv · NLP· Nicholas Saban, Charvi Bannur, Mariya Vasileva, Darshan Deshpande·· 8 小时前AI 评分23
GlobeBench：评估基于文本的世界模型在可扩展环境模拟中的能力
GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations
AI 导读
研究团队提出包含 1,632 项任务、覆盖 5 个领域的 GlobeBench 基准，用于测试模型预测环境对动作响应的能力。 在 20 个 LLM 和文本世界模型中，GPT-6 Astra 以 49.57% 的成功率居首；但当动作影响环境大范围时，准确率降至平均 5.1%。 目前仍有 631 项任务无模型能解决，表明通用 LLM 作为世界模型仍存在显著能力差距。
来源：arXiv · NLP · arxiv.org