跳到正文
arXiv · NLP· Ahmad Samuel Gali (Independent Researcher), Tadesse Destaw Belay (Instituto Polit\'ecnico Nacional), Idris Abdulmumin (University of Pretoria), Seid Muhie Yimam (University of Hamburg), Shamsuddeen Hassan Muhammad (Bayero University Kano, Imperial College London)·· 2 天前AI 评分31

AfriNORM:评估 LLM 跨非洲文化规范性推理的基准数据集

AfriNORM: An Evaluation Benchmark for Normative Reasoning of LLMs Across African Cultures

AI 导读

AfriNORM 是专为评估 LLM 在非洲社会文化背景中规范性推理能力而设计的场景式多选数据集,旨在填补现有基准在文化胜任力评估上的空白。 该基准引入通用常识偏差分(UCBS)和干扰项偏差分(DBS)两项指标,量化模型偏差与对文化规范理解的局限性。

来源:arXiv · NLP · arxiv.org