arXiv · NLP· London Lowmanstone IV, Vaagishwaran Sivakumar, Anwesha Samaddar, Akul Mundada, Harnoor Kaur, Maria Gini·· 8 小时前AI 评分22
视角主义 NLP 模型预测哪些标注者？分析标注者一致性、稀疏度与性能关系
Who Do Perspectivist Models Predict Well? Annotator Agreement, Sparsity, and Performance
AI 导读
该研究构建了迄今最大规模的带有序标注的视角主义 NLP 数据集，用于评估不同算法在预测多样化人类评分时的表现。 研究发现，算法在处理倾向于与他人保持一致的标注者时表现更好，但标注者的响应率与算法性能之间不存在具有统计学意义的正相关。
来源：arXiv · NLP · arxiv.org