跳到正文
arXiv · AI· Zongxia Li, Zhongzhi Li, Yucheng Shi, Ruhan Wang, Junyao Yang, Zhichao Liu, Xiyang Wu, Anhao Li, Chengsong Huang, Ergan Shang, Yue Yu, Ninghao Liu, Lichao Sun, Haotao Mi, Leowei Liang·· 2026-10-14AI 评分21

发布 Long-Horizon-Terminal-Bench:用于测试长时程终端任务中智能体极限的密集奖励评分基准

Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading

AI 导读

发布包含46项长时程任务、涵盖9个类别的终端基准 Long-Horizon-Terminal-Bench,支持密集中间奖励与部分得分。 对15个前沿模型的评测显示,智能体每任务平均消耗9.9M tokens,运行231个 episode,耗时85.3分钟;最强模型在0.95部分奖励阈值下 pass@1 为15.2%,完美奖励阈值1.0下为10.9%。

来源:arXiv · AI · arxiv.org