跳到正文
热点事件持续更新

RetroChessBench 基准测试发布

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

研究者发布 RetroChessBench 基准测试。该基准包含 12 个任务,旨在测试前沿大模型在逆向棋局重构中的推理能力,涵盖精确长度构建、唯一结局及穷举答案集,并提供参考、评分标准及终端奖励环境。 两项试验显示,GPT 6 Astra High 表现不佳。在 24 次尝试中,无工具使用时失败 22 次,使用代码执行则失败 18 次。相应的平均终端 RL 奖励分别为 14.75% 和 27.19%。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月30日
  1. arXiv · AI
    RetroChessBench:用于重构与证明棋局历史的基准

    研究者提出 RetroChessBench,这是一项包含 12 个任务的基准,用于测试前沿大模型在逆向棋局重构中的推理能力。 在两项试验中,GPT 6 Astra High 在 24 次尝试里失败 22 次(无工具),使用代码执行则失败 18 次,平均终端 RL 奖励分别为 14.75% 和 27.19%。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。