arXiv · AI· Yuan Zhuang, Yuexin Bian, Sihong He, Jie Feng, Qing Su, Songyang Han, Jonathan Petit, Shihao Ji, Yuanyuan Shi, Fei Miao·· 9 小时前AI 评分25
LoRA 作为结构正则化器用于离线策略强化学习中 Critic 从零开始学习
Low-Rank Adaptation for Critic Learning in Off-Policy Reinforcement Learning
AI 导读
在离线策略强化学习中，将 Low-Rank Adaptation (LoRA) 用作从零开始训练 critic 的结构正则化器。 该方法冻结随机初始化的基矩阵并仅优化低秩 adapter，将权重变化限制在低秩残差上。 实证表明，LoRA 在基于 SAC 与 FastTD3 的连续控制任务中降低 critic 损失，提升整体策略性能。
来源：arXiv · AI · arxiv.org