arXiv · NLP· Haojun Liang, Ziwei Zhao, Chenyu Li, Qiyue Zhao, Rongduomijia Mu, Yulan Shen, Yu Gu, Chen Zhang, Kairui Zhang, Yanbiao Ma, Wenxuan Wang·· 3 天前AI 评分39
ScopeBench:评估大语言模型的文化规范范围感知能力
ScopeBench: Evaluating Cultural Norm Scope Awareness in LLMs
AI 导读
团队发布ScopeBench基准,涵盖49国3,323条规范,评估21个前沿LLM的文化范围感知。 测试发现主导错误类型随提示格式反转:单选分类中范围收缩错误率达70%,独立判断时范围膨胀达33%。 准确率与安全行为解耦,六大分类器在范围违背声明上的有害响应率仍达40%-42%。
来源:arXiv · NLP · arxiv.org