RL 会遗忘：迈向持续策略优化 (CPO)

持续后训练中的强化学习 (RL) 仍会遭遇灾难性遗忘。研究指出其根源在于 KL 正则化在旧任务分布上评估。 该方法提出了无需重放 (replay-free) 的 CPO，通过基于历史 KL 目标的局部 Fisher 代理实现稀疏正则化，且额外计算开销极低。 在三种模型规模的实验中，CPO 在保持适应能力的同时，有效减少了遗忘并维持了预训练模型的广泛能力。