跳到正文
arXiv · NLP· Haojun Liang, Ziwei Zhao, Chenyu Li, Qiyue Zhao, Rongduomijia Mu, Yulan Shen, Yu Gu, Chen Zhang, Kairui Zhang, Yanbiao Ma, Wenxuan Wang·· 3 天前AI 评分39

ScopeBench:评估大语言模型的文化规范范围感知能力

ScopeBench: Evaluating Cultural Norm Scope Awareness in LLMs

AI 导读

团队发布ScopeBench基准,涵盖49国3,323条规范,评估21个前沿LLM的文化范围感知。 测试发现主导错误类型随提示格式反转:单选分类中范围收缩错误率达70%,独立判断时范围膨胀达33%。 准确率与安全行为解耦,六大分类器在范围违背声明上的有害响应率仍达40%-42%。

来源:arXiv · NLP · arxiv.org