跳到正文
arXiv · NLP· Luca Giordano, Simon Razniewski·· 2026-10-14AI 评分35

BeQu:超越问题范式的 LLM 陈述知识评测基准

Beyond Questions: Evaluating the Stated Knowledge of LLMs

AI 导读

研究提出“开放知识评测”范式,通过 BeQu 基准(10,000 个实体)评估 LLM 在开放式提示下主动陈述的知识,而非仅回答预设问题。 该基准包含参考语料库用于陈述验证,并分析了推理努力、模型规模、提示格式及知识领域对评测结果的影响。 数据与排行榜已在 GitHub 和 ANONYMIZED 平台公开。

来源:arXiv · NLP · arxiv.org