arXiv · ML· Weizhen Wang, Xinzhe Zhou, Jianping He, Xiaoming Duan·· 6 小时前AI 评分26
分布失配下 On-policy 策略梯度方法的理论分析
Analysis of On-policy Policy Gradient Methods under the Distribution Mismatch
AI 导读
该研究分析了折扣问题中采样分布与策略梯度定理要求的状态分布间的失配对 On-policy 策略梯度方法的影响。针对表值直接参数化和 Softmax 参数化，确立了偏差更新下的全局收敛性，并推导了表值 Softmax 策略在偏差及归一化精确更新下的渐近目标误差精确主项系数。
来源：arXiv · ML · arxiv.org