研究评测 LLM 在西语国家的地理词汇知识

研究团队 Yoshifumi Kawasaki 发布了一项关于大语言模型地理词汇知识的评测基准研究，该研究聚焦于西班牙语国家。 研究将 10 个专有和开源大语言模型作为虚拟受访者，评估两种互补的提问格式：是非问句格式（YNQF）和多项选择题格式（MCQF）。 研究基于专家精选的数据库，涵盖 21 个西班牙语国家共 934 个词汇项目。评估结果显示，Spain（西班牙）得分最高，Chile（智利）得分最低。数据表明数字资源量与 YNQF 表现存在强相关性，而词汇距离则影响 MCQF 的表现。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。