跳到正文
arXiv · NLP· Monica Riedler, Jasmin Orth, Raffaella Bernardi, Barbara Plank·· 4 天前AI 评分25

人类标注变异性研究:文本与视觉蕴含中的差异及 VariNLI-VE 数据集

In the Eye of the Beholder: Human Label Variation in Textual and Visual Entailment

AI 导读

研究团队发布 VariNLI-VE 数据集,包含 2,250 个针对 SNLI 文本及其视觉对应项的重标注结果,涵盖标签、置信度及解释。 数据显示,视觉蕴含任务中人类标注分歧并未如预期般减少,且标注者常保留相同标签但改变解释理由。 评估发现,视觉语言模型在视觉蕴含任务中准确性较低,与人类标签分布一致性较弱,且不确定性高于文本任务。

来源:arXiv · NLP · arxiv.org