arXiv · NLP· Shiwen Qin, Cameron Barker, Henry Gouk, Elliot J. Crowley, Shay B. Cohen, Mirella Lapata, Miao Li·· 2026-10-16AI 评分28
LURCH 基准揭示长上下文推理难度受证据范围、分布与推理深度影响
Beyond Context Length: Characterising the Difficulty of Long-Context Reasoning
AI 导读
研究构建多领域问答基准 LURCH(6550 实例),证实固定长度下证据范围、分散度及推理深度与模型性能强负相关。 证据分散导致性能随长度增加急剧下降,而证据集中时保持稳定,且三项难度属性叠加会显著增加解题难度。
来源:arXiv · NLP · arxiv.org