arXiv · AI· Carlos Hartmann·· 13 小时前AI 评分33
LLM 与人类在代词指代消解任务中的比较研究
Who is the Pronoun Pro? Comparing LLMs and Humans at Number-Disambiguation of 'they'
AI 导读
一项针对 174 个真实 Reddit 样本的受控标注任务显示,Kimi K3 以 94.5% 的准确率超过人类多数票(86.2%),且具备成本与速度优势。 73 名人类标注者与 40 多种 LLM 配置参与测试,人类在低共识案例中的定性错误分析揭示了标注体系的不一致性,二者呈互补关系。
来源:arXiv · AI · arxiv.org