跳到正文
arXiv · NLP· Guofang Tang, Zheng Qu·· 9 天前AI 评分33

LLM 验证使最小对基准测试对语言模型更易通过

LLM Validation Makes Minimal-Pair Benchmarks Easier for Language Models

AI 导读

LLM 验证使最小对基准测试对语言模型更易通过。在 BLiMP 和 QFrBLiMP 数据集中,10 个开源大语言模型(LMs)在预注册 LLM 过滤器标记的项上比接受的项难 18.9 分,且所有 70 种 LM-验证器组合均显示标记项更难。该过滤去除了 LMs 失败但人类未失败的项目,使准确率提升超过随机去除。

来源:arXiv · NLP · arxiv.org