DEPO 如何通过难度估计优化 LRM 训练效率

DEPO 框架引入在线难度估计器，在 rollout 前动态过滤训练数据，将计算资源优先分配给高学习潜力样本。该机制使 rollout 速度比 DAPO 快约 1.86 倍，且在可比训练成本下基准性能优于 GRPO。 DEPO 通过缓解 GRPO 在过易或过难问题上因组间优势消失导致的梯度信号衰减，显著降低了高性能推理模型训练的计算门槛，为推理扩展提供了更可持续的路径。