arXiv · ML· Avik Kar, Siddharth Chandak, Rahul Singh, Shalabh Bhatnagar·· 14 天前AI 评分25
证明同步相对价值迭代 Q-learning 在有限弱连通 MDP 中的 O(1/n) 收敛速率
$O(1/n)$ Convergence Rate for RVI $Q$-Learning
AI 导读
建立同步相对价值迭代 Q-learning 在有限弱连通 MDP 上的有限时间收敛保证。 推导 Bellman span 残差的 O(n⁻¹) 界,并给出贪婪策略 O(n⁻¹) 的预期次优性界。 这意味着 O(ε⁻¹) 次同步迭代即可在期望上获得 ε-最优策略。
来源:arXiv · ML · arxiv.org