arXiv · AI· Haolin Liu, Braham Snyder, Chen-Yu Wei·· 17 小时前AI 评分24
Q*-近似与部分覆盖下离线强化学习的复杂度分析
On the Complexity of Offline Reinforcement Learning with Q*-Approximation and Partial Coverage
AI 导读
该研究证明了 Q*-realizability 与 Bellman 完备性不足以保证部分覆盖下样本高效的离线 RL,并引入了通用的决策估计框架。 该框架将复杂度分解为决策复杂度与价值估计误差,首次给出软 Q 学习在部分覆盖下 $\epsilon^{-2}$ 的样本复杂度界,改进了 Uehara 等人的 $\epsilon^{-4}$ 界。
来源:arXiv · AI · arxiv.org