发布CARTE法国区域知识基准

1. 12:00
   arXiv · NLP

   CARTE：一个映射大语言模型跨法国区域知识能力的基准测试

   研究团队推出名为CARTE的多项选择基准测试，用于评估大语言模型对法国13个大区及12个主题领域的细粒度地理知识区分能力。该基准包含3132道题目，经过人工与模型混合的四阶段验证，并涵盖评估32个1B至30B开源模型及3个前沿API模型。实验结果显示，不同模型规模和区域间存在显著性能差异，揭示了预训练数据在国别内部地域变异上的覆盖缺口。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。