arXiv · NLP· Veronika Solopova, Ivan Havlytskyi, Viktoria Skorik, Ostap Vykhopen·· 2026-10-12AI 评分28
GeopoliticalQA:地缘政治与战略情报报告检索生成基准
GeopoliticalQA: Benchmarking Retrieval and Generation over Intelligence Reports
AI 导读
研究人员推出 GeopoliticalQA 基准,基于 415 份开放情报报告构建 5,525 个问答对,涵盖事实、推理及风险类问题。该基准评估了 15 个检索系统和 6 个开源 LLM 在 RAG 任务上的表现。 评测发现中型编码器 bge-m3 在分块检索中匹配更大规模模型并超越商业 API,但推理与风险类问题的答案生成仍具挑战性。
来源:arXiv · NLP · arxiv.org