arXiv · NLP· Haryo Akbarianto Wibowo, Alaa Elsetohy, Qinrong Cui, Alham Fikri Aji·· 16 天前AI 评分20
Multicultural Spyfall:通过动态多语言社交推理游戏评估 LLM
Multicultural Spyfall: Assessing LLMs through a Dynamic Multilingual Social Deduction Game
AI 导读
研究提出动态基准框架 Multicultural Spyfall,利用社交推理游戏评估 LLM 多语言文化能力。 模型在非英语语境处理本地实体及规则遵循时表现显著弱于英语环境。 该游戏化方法可扩展、抗数据泄露,并补充了传统 NLP 基准的不足。
来源:arXiv · NLP · arxiv.org