跳到正文
arXiv · AI· Haolin Liu, Braham Snyder, Chen-Yu Wei·· 17 小时前AI 评分24

Q*-近似与部分覆盖下离线强化学习的复杂度分析

On the Complexity of Offline Reinforcement Learning with Q*-Approximation and Partial Coverage

AI 导读

该研究证明了 Q*-realizability 与 Bellman 完备性不足以保证部分覆盖下样本高效的离线 RL,并引入了通用的决策估计框架。 该框架将复杂度分解为决策复杂度与价值估计误差,首次给出软 Q 学习在部分覆盖下 $\epsilon^{-2}$ 的样本复杂度界,改进了 Uehara 等人的 $\epsilon^{-4}$ 界。

来源:arXiv · AI · arxiv.org