arXiv · AI· Rub\'en Manrique, Michelle Castellanos, Jorge Morales, Juan David Guti\'errez, Antonio Barreto Rozo, Joaqu\'in V\'elez Navarro·· 2026-10-05AI 评分38
大语言模型懂哥伦比亚法律吗?哥伦比亚法律体系可靠性基准测试
Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System
AI 导读
研究人员发布了一个包含1042道题目的专家验证基准,用于评估大语言模型在哥伦比亚法律体系中的可靠性。 在闭卷选择题中,Gemini 3.1 Pro 的准确率最高达0.905,但所有模型在自由文本法律回答中的事实正确率均不超过0.45。
来源:arXiv · AI · arxiv.org