跳到正文
arXiv · NLP· Zihao Sun·· 17 天前AI 评分30

基于1.2万条本地化帖子的多语言LLM刻板印象偏见审计

From Language to Country to Valence: A Multilingual Audit of Stereotype Bias Across LLMs

AI 导读

研究者利用英语、西班牙语、法语和德语的1.2万条Reddit本地帖子,对3个开源及3个API模型的性别、种族和宗教偏见进行了审计。 研究发现宗教维度的选择失衡在所有模型中最高;API模型得分全面低于开源模型;负面性别偏见在英语语境下更显著。 这些结果揭示了聚合分数可能掩盖特定类别和语境的偏见行为,强调了部署前进行细致检查的必要性。

来源:arXiv · NLP · arxiv.org