跳到正文
arXiv · NLP· Mayank Kulkarni, Rakesh Vaideeswaran·· 2026-10-15AI 评分25

ListQA:评估大语言模型列表化事实知识检索的新基准

ListQA: A Benchmark for Evaluating List-Formatted Factual Knowledge Retrieval in Large Language Models

AI 导读

新基准 ListQA 包含 9045 个人工审核问题,要求 LLM 将 3-10 个元素组成结构化列表。 该基准覆盖 60 多个国家及 8 个类别,采用线性求和问题框架评估事实准确性。测试 34 个模型发现,最佳标准推理模型 LLM-Judge-F1 得分低于 37%,提供 Wikipedia 来源能显著提升成绩。

来源:arXiv · NLP · arxiv.org