跳到正文
arXiv · AI· Rilton Franzone, Magnus Sesodia, Alina Petrova, John Armour, Thomas Lukasiewicz, Oana-Maria Camburu, Puneet K. Dokania, Philip Torr, Christian Schroeder de Witt, Fabio J. Fehr·· 16 小时前AI 评分21

AnnoCaseLaw: 美国民事过失案件法律专家标注基准

AnnoCaseLaw: Legal Annotation Benchmark of Civil Negligence

AI 导读

AnnoCaseLaw 发布了一个包含 471 份美国民事过失判决书和 12000 多个专家高亮标注的基准,涵盖五个标注类别。 该基准评估了专有前沿模型、开源模型及法律专用模型在复现专家标注上的表现。专有前沿模型在“法律适用于事实”类别中平衡了推理覆盖率和精确度,而开源模型 Gemma 4 以极低的推理成本达到了与专有前沿模型相当的 Macro-F1 分数。

来源:arXiv · AI · arxiv.org