arXiv · NLP· Blessing Ngozi Uzor, Valdini Douglace Lemofouet, Paula Chikaodinaka Anyanwu, Tassallah Abdullahi, Clemencia Siro, Idris Abdulmumin, Seid Muhie Yimam, Shamsuddeen Hassan Muhammad·· 4 小时前AI 评分25
大语言模型如何理解伊博文化：超越选择题基准测试
Do Language Models Understand Igbo Culture? Beyond Multiple Choice
AI 导读
研究者提出基于本土文化来源的 CAB-Igbo 基准，以弥补现有评测对西方概念翻译的依赖。 评测引入区域人设，发现语言流畅性与文化知识脱节，Gemini 2.0 Flash 是唯一在伊博语提示下文化知识得分提升的模型。 确立人类评测为金标准，防止对低资源社群的误判。
来源：arXiv · NLP · arxiv.org