arXiv · AI· Sami Nur Islam, Johan Obando-Ceron, Doina Precup, Aaron Courville, Pablo Samuel Castro·· 5 小时前AI 评分41
冻结而非克隆：无离线数据保留场景下基于高表达策略的强化学习微调
Freeze, Don't Clone: Fine-Tuning with Expressive Policies Without Retaining Offline Data
AI 导读
离线到在线强化学习中，停止在线行为克隆并冻结预训练行为模型，可显著提升无数据保留场景的微调性能。 在 IFQL、FQL 和 QC 方法于 7 个 OGBench 领域的测试中，该策略通过打破行为反馈循环，避免了表征坍缩和动作多样性损失，确保价值学习驱动持续改进。
来源：arXiv · AI · arxiv.org