arXiv · AI· Russell Yang, Ruishi Chen, Pierce Kelaita, Riya Ranjan, Sibo Ma, Charles Dickens, Matthew Guillod, Megan Ma, Julian Nyarko·· 23 小时前AI 评分33
JudgmentBench：比较基于评分标准与偏好评估的质量评估方法
JudgmentBench: Comparing Rubric and Preference Evaluation for Quality Assessment
AI 导读
JudgmentBench发布包含30个法律任务及1,539项评分标准的基准测试。 研究显示比较判断恢复质量排序能力优于评分标准，Spearman相关系数为0.908对0.150，且标注时间减半。 该数据集为缺乏可验证真实值领域的专家判断研究提供支持。
来源：arXiv · AI · arxiv.org