跳到正文
arXiv · AI· Boyu Qiao, Zixin Tang, Kaige Li, Xiaoshuai Hao, Dongyu She, Xiaochun Cao·· 3 天前AI 评分26

GameReplica 评测基准发布:考察视觉语言智能体黑盒复刻网页游戏能力

GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents

AI 导读

研究者发布 GameReplica 基准,用于评估视觉语言智能体在黑盒条件下复刻网页游戏的能力,该基准包含 125 个实例,覆盖 25 款游戏。 基准要求在容器隔离下通过动作-截图接口交互,并从规则一致性、实现一致性及视觉保真度三个维度进行评分。 实验表明,Claude Opus 4.8 取得 71.6% 的最高综合分,而模型在视觉保真度上得分普遍高于规则一致性。

来源:arXiv · AI · arxiv.org