跳到正文
arXiv · NLP· Eirik Botten Nicolaysen (EcoDeco AS)·· 17 小时前AI 评分30

norregel:挪威法律日期数值预注册基准测试

norregel: a preregistered benchmark of dated numeric values in Norwegian law

AI 导读

norregel 基准评估语言模型在挪威法律特定日期下的数值准确性,包含 916 项从 Lovdata 提取的数据。 第一轮测试中,Opus 5.5 和 Sonnet 4.6 分别正确回答了 46.7% 和 40.2% 的 880 个主要条目。 预注册的第二轮测试在敏感性分析 S8 下未支持假设 H1,因 95% 置信区间包含 0;H2 显示 56.1% 的过期答案等于最近数值。

来源:arXiv · NLP · arxiv.org