arXiv · NLP· Junhyung Ahn·· 8 小时前AI 评分21
AGORA: 基于项目反应理论的可靠性感知LLM评审聚合方法
AGORA: Reliability-Aware Aggregation of LLM Judges via Item-Response Theory
AI 导读
AGORA是一种基于项目反应理论（IRT）的LLM评审聚合方法，能联合学习评审者可靠性。在三个基准测试中，当评估集规模缩小至数百项时，AGORA的性能优于或持平于Dawid-Skene模型。该方法无需人工标签，且随着评审者池可靠性差异增大仍能保持准确。
来源：arXiv · NLP · arxiv.org