跳到正文
arXiv · AI· Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Chengsong Huang, Zhichao Liu, Xiyang Wu, Anhao Li, Yue Yu, Ergan Shang, Fuxiao Liu, Tong Zheng, Ninghao Liu, Lichao Sun, Haitao Mi, Leowei Liang·· 2026-10-14AI 评分47

LHTB 2.0 扩展任务规模至 77 项并评估 15 个前沿模型的持续智能体表现

Long-Horizon-Terminal-Bench 2.0: Automating Diverse Task Construction and Measuring Sustained Agent Progress

AI 导读

LHTB 2.0 包含 77 个任务并覆盖 13 个领域,评估时间窗口从 90 分钟延长至 3 小时,每 30 分钟记录验证点。 在 15 个前沿模型的 1145 次运行测试中,GPT-6-astra 以 0.69 的平均密集奖励位居首位,GPT-5.6-sol 紧随其后得 0.67 分。 该基准显示仅关注最终结果的评估会忽略大量中间进展,为研究数小时级别的可靠智能体执行提供了过程感知的测试床。

来源:arXiv · AI · arxiv.org