跳到正文
arXiv · AI· Jianxin Gao, Beini Hu, Runze Li, Hongjian Fang, Wanli Peng·· 4 小时前AI 评分28

MirrorCraft: 在规则隐藏变更下的 Minecraft 配对评测基准

MirrorCraft: Paired Evaluation under Hidden Rule Changes in Minecraft

AI 导读

研究提出 MirrorCraft 基准,用于评估 LLM 智能体在 Minecraft 规则隐藏变更下的表现。 该基准包含 10 个世界、6 套规则,通过 8,640 个回合测试 ReAct 等 6 种配置。 结果显示,隐藏规则变更导致各配置性能差异显著,提供精确规则仅带来有限提升。

来源:arXiv · AI · arxiv.org