arXiv · NLP· Jiayu Ding, Shuming Ma, Lei Cui, Nanning Zheng, Furu Wei·· 7 天前AI 评分30
LongReasonArena:面向大语言模型的长推理基准
LongReasonArena: A Long Reasoning Benchmark for Large Language Models
AI 导读
LongReasonArena 发布,旨在评估大语言模型的长推理能力,支持最高 100 万 token 的推理长度。 该基准通过多步算法任务测试检索与回溯等关键推理要素,结果呈线性下降趋势。 即使 GPT-5 在 Level 3 任务中也仅取得 27.8% 的准确率,显示出显著挑战性。
来源:arXiv · NLP · arxiv.org