arXiv · NLP· Guneet Kohli·· 9 小时前AI 评分20
从标签分布学习中标注饱和度的指标依赖性
Metric-Dependent Annotation Saturation for Learning from Label Distributions
AI 导读
在ChaosNLI数据集上微调NLI模型发现，标注者数量需求取决于评估指标。KL散度匹配在约10名标注者时饱和（达成87-95%改善），而熵相关性需20-50名标注者才能收敛。 软标签在熵相关性上优于标签平滑（r=0.643 vs 0.45-0.49），且优势在DeBERTa与RoBERTa架构中均可复现。 研究表明，标注预算应根据目标评估指标而非统一设定来分配。
来源：arXiv · NLP · arxiv.org