Hacker News AI· agentdev001·· 5 天前精选AI 评分81
Epoch AI 发布 SpireClimb 基准:评估大模型在 Slay the Spire 中的游戏能力
How well can AI play Slay the Spire?
AI 导读
Epoch AI 发布新基准 SpireClimb,通过视觉计算机使用框架评估 LLM 在 Slay the Spire 1 和 2 中的表现。前沿模型目前能在 StS1 基础难度达到 90% 以上胜率,在最高难度下 GPT-6 Astra 和 GPT-6.1 Sol 分别取得 17% 和 20% 胜率。测试还表明,StS2 作为较新游戏,模型表现未出现显著下降,显示通用策略推理能力正在增强。
推荐理由
通过冻结 StS2 版本隔离训练数据偏差,该基准为量化 LLM 在视觉计算机使用场景下的即时通用策略推理提供了可复现方法。
来源:Hacker News AI · epoch.ai