arXiv · ML· Xuan Liu, Jingbin Qian, Haosheng Chen·· 2026-10-05AI 评分25
GapFT:通过 Pass@K 与 Pass@1 差距提升大模型后训练效率
Learning from the Gap Between Pass@K and Pass@1
AI 导读
研究者提出 GapFT 方法,通过在大模型未能一次通过但在 K 次采样内解决的问题上进行后训练,来提升模型的 Pass@1 表现。在 LogiQA 2.0 和 ReClor 数据集上,GapFT 优于同等预算的均匀拒绝采样微调,仅用 11-34% 的验证问题即可恢复全量验证池微调 2/3 到 4/5 的性能增益。
来源:arXiv · ML · arxiv.org