跳到正文
arXiv · ML· Xuan Liu, Jingbin Qian, Haosheng Chen·· 2026-10-05AI 评分25

GapFT:通过 Pass@K 与 Pass@1 差距提升大模型后训练效率

Learning from the Gap Between Pass@K and Pass@1

AI 导读

研究者提出 GapFT 方法,通过在大模型未能一次通过但在 K 次采样内解决的问题上进行后训练,来提升模型的 Pass@1 表现。在 LogiQA 2.0 和 ReClor 数据集上,GapFT 优于同等预算的均匀拒绝采样微调,仅用 11-34% 的验证问题即可恢复全量验证池微调 2/3 到 4/5 的性能增益。

来源:arXiv · ML · arxiv.org