arXiv · AI· Geonwoo Cho, Jaegyun Im, Doyoon Kim, Lexin Li·· 11 小时前AI 评分23
ANCHOR: KL 锚定离线到在线强化学习适应方法
ANCHOR: KL-Anchored Adaptation for Stable Offline-to-Online RL
AI 导读
研究提出 ANCHOR 方法，通过 KL 锚定将 actor 固定于离线预训练策略初期，并在 FrankaKitchen 等任务中显著降低灾难性失败。该方法早期保留保守正则化以抑制崩溃，随时间退火约束并保留残差保守 critic 正则项。理论分析表明 KL 锚定有助于保持邻近分布下的 critic 可靠性。
来源：arXiv · AI · arxiv.org