跳到正文
arXiv · ML· Shixuan Liu, Cheng Tang, Yuzheng Hu, Fan Wu, Han Zhao, Jiaqi W. Ma·· 29 天前AI 评分29

RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning

RL-IF: Tracking Non-local Training Data Influence for Online Reinforcement Learning

AI 导读

在线强化学习(RL)框架 RL-IF 通过轨迹级 leave-one-out 量(RL-LOO)量化训练实例在多个训练轮次间非局部的数据影响力。 RL-IF 提出了一阶估计器,通过解耦优化效应与策略诱导采样效应来追踪影响,并在此基础开发了实际的数据过滤方法 RINSE。 在标准控制基准和 RLHF 毒性缓解场景中,RINSE 相较于 PPO 基线提升了训练效率并最终性能。

来源:arXiv · ML · arxiv.org