arXiv · NLP· Ethan Zhao, Maksym Taranukhin, Wei Cui, Moira Aikenhead, Vered Shwartz·· 16 小时前AI 评分32
CanLegalRAGBench：评估基于加拿大判例法的检索增强生成
CanLegalRAGBench: Evaluating Retrieval-Augmented Generation on Canadian Case Law
AI 导读
CanLegalRAGBench 是一个基于真实查询和专家标注答案的加拿大法律问答基准，用于评估检索增强生成系统。 研究显示检索性能受设计选择影响，且开源嵌入模型在性能上可媲美闭源模型。 在生成答案中，有 8-29% 的声明未被检索到的文档支持。
来源：arXiv · NLP · arxiv.org