跳到正文
arXiv · NLP· Jiayu Ding, Shuming Ma, Lei Cui, Nanning Zheng, Furu Wei·· 7 天前AI 评分30

LongReasonArena:面向大语言模型的长推理基准

LongReasonArena: A Long Reasoning Benchmark for Large Language Models

AI 导读

LongReasonArena 发布,旨在评估大语言模型的长推理能力,支持最高 100 万 token 的推理长度。 该基准通过多步算法任务测试检索与回溯等关键推理要素,结果呈线性下降趋势。 即使 GPT-5 在 Level 3 任务中也仅取得 27.8% 的准确率,显示出显著挑战性。

来源:arXiv · NLP · arxiv.org