大规模并行加速安全强化学习

研究提出将错峰环境重置分析为相位混合分布，利用相位聚合成本估计器重建单轨迹成本估计，以解决大规模并行训练中的短 Rollout 与安全约束匹配问题。 在约束收紧框架中纳入有限样本不确定性及分布不匹配，该方法兼容 On-policy 优化，并通过了基于 MJX 的 Safety Gym 实验验证，在保持性能的同时显著缩短了墙钟时间。