跳到正文
arXiv · NLP· Rik van Noord, Maurice Voors·· 2 天前AI 评分30

**title_zh**: TSW-NL:评估语言模型的荷兰语单词谜题基准

The Shared Word: Evaluating Language Models on Dutch Word Puzzles

AI 导读

**summary_zh**: 研究者提出荷兰语开放词汇基准 TSW-NL,包含 222 个实例,旨在通过确定性评分评估 LLM。 该基准源自 Wikipedia 消歧义页面,人工研究得分介于 49.5% 至 61.0% 之间,最高开源模型得分仅为 39.3%。 GPT-4.1 得分 59.2%,而 GPT-5.6 Sol 使用最大推理模式得分达 88.8%,显示闭源模型显著进步。

来源:arXiv · NLP · arxiv.org