arXiv · ML· Weiqin Chen, Xinmeng Huang, Dongsheng Ding, Santiago Paternain·· 23 小时前AI 评分22
强化学习人类反馈的安全探索：可证明的零阶对数屏障策略梯度
Provable Zeroth-Order Safe Exploration for Reinforcement Learning from Human Feedback
AI 导读
提出无奖励模型的零阶对数屏障策略梯度（ZO-LBPG），利用人类偏好直接估计以优化对数屏障目标，实现强化学习人类反馈的安全探索。该方法结合保守约束裕度估计、耦合Rollout及自适应步长，确保高概率下所有迭代及探索策略严格可行并全局收敛。实验在合成CMDP和语言模型对齐任务中验证了训练期间的安全保证。
来源：arXiv · ML · arxiv.org