arXiv · AI· Boyu Qiao, Zixin Tang, Kaige Li, Xiaoshuai Hao, Dongyu She, Xiaochun Cao·· 3 天前AI 评分26
GameReplica 评测基准发布:考察视觉语言智能体黑盒复刻网页游戏能力
GameReplica: A Benchmark for Black-Box Visual Game Replication by Vision-Language Agents
AI 导读
研究者发布 GameReplica 基准,用于评估视觉语言智能体在黑盒条件下复刻网页游戏的能力,该基准包含 125 个实例,覆盖 25 款游戏。 基准要求在容器隔离下通过动作-截图接口交互,并从规则一致性、实现一致性及视觉保真度三个维度进行评分。 实验表明,Claude Opus 4.8 取得 71.6% 的最高综合分,而模型在视觉保真度上得分普遍高于规则一致性。
来源:arXiv · AI · arxiv.org