跳到正文
arXiv · AI· Soumye Singhal, Joseph Jennings, Ka Shun Shum, Alexander Bukharin, Khushi Bhardwaj, Zirui Liu, Venkat Srinivasan, Jonathan Li, Yash Jain, Kezhi Kong, Markus Kliegl, Olivier Delalleau, Sanjeev Satheesh, Mostofa Patwary·· 2026-10-16AI 评分43

开源中训练配方:通过 Priming 基础模型以支持智能体后训练

Priming Base Models for Agentic Post-Training: An Open Midtraining Recipe

AI 导读

研究提出一种开源中训练配方,在预训练和后训练间插入阶段,以提升模型智能体后训练表现。 该配方在 256K 上下文窗口下训练数百亿 token,混合自然软件工程数据与少量智能体轨迹。 在 Nemotron 3.5 Lightning 上,500B token 的中训练使 SWE-bench Verified 从 60.7 提升至 64.5。

来源:arXiv · AI · arxiv.org