跳到正文
arXiv · NLP· Leilei Ding, Shumin Wang, Yuting Huang, Fanqi Wan, Yinmin Zhang, Qi Han, Yiming Xu, Feiyuan Zhang, Xiaomeng Chu, Guoliang You, Wuyang Zhang, Daxin Jiang, Yanyong Zhang·· 2026-10-16AI 评分47

Phi-Bench 发布:评估大语言模型构建和优化自身基础设施的能力

$\Phi$-Bench: Can Large Language Models Engineer the Infrastructure That Powers Them?

AI 导读

Phi-Bench 是一个包含 85 项基于真实 LLM 训练和推理代码库任务的基准,用于评估 LLM 在开放-ended、长程基础设施工程任务中的表现。 该基准涵盖九类 LLM 基础设施,包含三种任务格式,从内核函数补全到仓库级端到端优化,所有奖励均通过正确性和反作弊检查。

来源:arXiv · NLP · arxiv.org