跳到正文
arXiv · NLP· Edward Ajayi, Mustapha Alaba, David Stephen, Peace Bakare·· 2026-10-14AI 评分26

AfriEconQA:面向世界银行经济报告定量与时间推理的基准

AfriEconQA: A Benchmark for Quantitative and Temporal Reasoning over World Bank Economic Reports

AI 导读

AfriEconQA 基于 204 份世界银行非洲经济报告构建,包含 4,138 个带证据关联的 QA 实例,覆盖 5 类推理任务,重点测试长文档中的定量提取与时间精度。 评估涵盖 Qwen 3.6 35B、DeepSeek v4-pro 等 4 个模型,在检索增强生成(RAG)条件下最佳系统 F1 分数仅 0.594,错误主要集中于列表提取、合成及跨期比较。

来源:arXiv · NLP · arxiv.org