组合式自我提升：潜力与陷阱

研究系统评估了利用组合结构生成监督信号以实现模型自我提升的有效性，并在编码和推理任务中验证了该方法。实验识别出三个主要失败模式：子问题预测不可靠、组合引入误差以及监督覆盖范围有限。 尽管存在局限，短程监督微调（SFT）预热结合组合式自我提升能够引导强化学习，特别是在模型已具备相关技能且直接探索成功率低的任务上。