跳到正文
arXiv · NLP· Zhengyu Hu, Zheyuan Xiao, Yike Wang, Hamish Ivison, Haoyu Wang, Yige Yuan, Rulin Shao, Yuetai Li, Niqi Lyu, Yicheng Ding, Shu Yang, Zhichen Zeng, Banghua Zhu, Jiaxin Pei, Kaize Ding, Pradeep Dasigi, Dan Roth, Hannaneh Hajishirzi, Noah A. Smith, Teng Xiao, Radha Poovendran·· 10 天前AI 评分44

Infrathon 基准研究显示,模型排名随评估时程变化,且 150 次实验中 135 次在后半程实现了进一步优化。

Infrathon: Benchmarking Language Agents for Real-World, Long-Horizon AI Infra Optimization

AI 导读

Infrathon 基准测试评估了 6 个模型在 24 小时预算下的 150 次运行,累计超过 10,000 GPU 时。Claude Opus 5.5 在 KV-cache 压缩任务中超越人类设计基线,将平均压缩率从 6.82% 提升至 19.86%。

来源:arXiv · NLP · arxiv.org