arXiv · NLP· Sarah Almeida Carneiro (X), Christos Xypolopoulos (X, NTUA), Xiao Fei (X), Yang Zhang (X), Michalis Vazirgiannis (X, MBZUAI)·· 4 小时前AI 评分32
CARTE：一个映射大语言模型跨法国区域知识能力的基准测试
CARTE: A Benchmark for Mapping Language Model Knowledge Across France
AI 导读
研究团队推出名为CARTE的多项选择基准测试，用于评估大语言模型对法国13个大区及12个主题领域的细粒度地理知识区分能力。该基准包含3132道题目，经过人工与模型混合的四阶段验证，并涵盖评估32个1B至30B开源模型及3个前沿API模型。实验结果显示，不同模型规模和区域间存在显著性能差异，揭示了预训练数据在国别内部地域变异上的覆盖缺口。
来源：arXiv · NLP · arxiv.org