跳到正文
arXiv · NLP· Ziwei Gu, Michael S. Lee, Drew Rein, Yash Maurya, Vikneswaran Kumaran, Darshini Ramiah, Chenguang Wang, Udari Madhushani Sehwag·· 3 天前AI 评分31

SG-LegalClarify:新加坡法律推理与歧义识别大规模基准

SG-LegalClarify: A Large-Scale Benchmark for Legal Reasoning and Ambiguity Recognition in Singapore Law

AI 导读

SG-LegalClarify 是涵盖新加坡法律推理与歧义识别的大规模基准,包含 1,100 道律师撰写的源问题。 该基准含 340 道完整指定和 760 道欠指定问题,共 1,860 个评估实例,采用 IRAC 评估标准评分。 团队评估了 19 个 LLM,发现最佳模型在闭卷条件下仅满足 69.8% 的必填评估项,基准远未饱和。

来源:arXiv · NLP · arxiv.org