arXiv · NLP· Wenchang Wang, Yue Song·· 7 小时前AI 评分31
身份置换证据揭示 LLM 仇恨言论分类器的测量非不变性
Same Sentence, Different Construct: Identity-Swapped Rationales Reveal Measurement Non-Invariance in LLM Hate Speech Classifiers
AI 导读
421 个模板测试显示，4 个 LLM 分类器平衡准确率超 0.95，但对女性群体的仇恨言论误报率低 8.3 和 4.4 个百分点。 模型将针对女性的同类表述重构为个人厌恶，添加基准定义后差距依然持续。 验证需采用受控身份测试检查测量不变性，关注决策标准差异。
来源：arXiv · NLP · arxiv.org