跳到正文
arXiv · NLP· Keyu He, Xuhui Zhou, Maarten Sap·· 10 天前AI 评分33

SocialGym:通过可验证的多智能体游戏评估 LLM 社交智能

SocialGym: Evaluating LLM Social Intelligence through Verifiable Multi-Agent Games

AI 导读

SocialGym 提出包含 22 款多智能体游戏的评估环境,以游戏规则确定的可验证结果替代主观的 LLM 裁判。研究通过 Elo 锦标赛基准测试 10 款 LLM,发现模型在 Chameleon 和 Spyfall 中常泄露己方秘密,且排名随游戏类型变化。

来源:arXiv · NLP · arxiv.org