arXiv · NLP· Irem Ecem Yelkanat, Faeze Ghorbanpour, Alexander Fraser·· 2026-10-14AI 评分28
分解并预测跨语言有害内容标注分歧
Decomposing and Predicting Annotation Disagreement in Harmful Content Across Languages
AI 导读
研究者提出通过 LLM 回答 20 个二元语义问题来预测有害内容标注分歧,在 4 个英德土语数据集上验证可行性。 结构化问题特征比直接 Prompt 提升 10.5 ROC-AUC 点,比最强文本基线提升 5.0 点;仅 8 个问题即接近全量性能。 Leave-one-dataset-out 评估中模型保留 90-95% 的域内 ROC-AUC,表明分歧因素在文本中部分可观测。
来源:arXiv · NLP · arxiv.org