arXiv · NLP· Xiaopeng Ke, Zhixin Wang, Xuebo Liu, Xinyu Ma, Xing Zheng, Bowen Song, Weiqiang Wang, Min Zhang·· 5 小时前AI 评分33
ANT-A 基准与 ANT-OR 框架：优化多智能体标注以匹配人类一致性
Can LLM Annotators Match Human Consistency? Benchmarking Human Agreement and Optimizing Multi-Agent with Contrastive Knowledge
AI 导读
研究人员提出 ANT-A 基准和 ANT-OR 多智能体标注框架，解决现有基准与世界实际标注任务脱节的问题。 ANT-A 包含 7 个数据集和每实例 5 个独立人类标签，采用 Fleiss kappa 系数评估模型与人类标注分布的对齐度。 实验显示 ANT-OR 比最强基线提升 agreement@>=2 准确率 4.5 个百分点，并在分布对齐度上取得最高分，相关代码和基准已开源。
来源：arXiv · NLP · arxiv.org