arXiv · AI· Xinnan Dai, Kaiqi Yang, Yaxin Li, Cheng Luo, Wanli Li, Mingqing Xiao, Xinyang Jiang, Daoan Zhang, Kaitao Song, Fengze Liu, Zefan Cai, Caihua Shan·· 2026-10-14AI 评分27
Words to World 基准测试:评估 LLM 在交互式物理环境中的表现
Words to World: Benchmarking LLMs in Interactive Physical Environments
AI 导读
研究人员发布名为 Words to World 的基准,用于在闭环物理交互中评估 LLM。该基准测试包含机械臂、摄像头和传感器,模型需根据物理反馈调整行动,超越静态文本响应。 实验揭示了 LLM 在将语言推理转化为物理行动时的共同失败模式,包括幻觉状态变化、从意外结果中恢复能力差以及长期计划不稳定。该基准旨在为评估连接语言、工具和物理世界的 LLM 提供系统基础。
来源:arXiv · AI · arxiv.org