跳到正文
arXiv · NLP· Isaac Saxton-Knight, Gabriel Saxton-Knight, Diego Oliveira, Tidor-Vlad Pricope, Aston Garratt, Jocelyn D'Arcy·· 10 天前AI 评分22

CulturalCrosswords:多语言文化谜题中 LLM 答案约束与网格填充基准

CulturalCrosswords: A Multilingual Benchmark of Answer Constraints and Grid Completion

AI 导读

该基准评估了 LLM 在 42 种语言文化谜题中的表现,发现添加长度约束使与参考答案的一致性提高 22.8 个百分点。 测试涵盖 11 种 LLM 配置和 5 种提示变体。网格输入使兼容答案占比提升 9.7 个百分点,要求完整网格时模型间差异显著。 该基准区分了匹配单一参考答案与生成相互兼容、占据正确单元格的答案的能力。

来源:arXiv · NLP · arxiv.org