CulturalRiddles多文化谜语基准发布

1. 12:00
   arXiv · AI

   CulturalRiddles：一个包含62种文化的谜题基准

   论文提出CulturalRiddles基准，涵盖45个国家51种语言，测试LLM在文化谜题上的推理能力。 该基准由人类社区协作创建，需综合运用溯因推理、事实知识及特定文化关联。研究人员对28个LLM配置进行了自动和大规模人工评估。 前沿模型在某些文化社区的准确率最高仅为22%。该数据集及代码已公开发布，并支持通过公开贡献流程持续扩展其语言与文化覆盖面。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。