分布失配下 On-policy 策略梯度方法理论分析

2026 年 10 月 23 日，arXiv（cs.lg）发布了一篇关于“分布失配下 On-policy 策略梯度方法的理论分析”的研究。该研究由 Weizhen Wang 等人提出，主要分析在折扣问题中，采样分布与策略梯度定理要求的状态分布之间失配对 On-policy 策略梯度方法的影响。 该研究针对表值直接参数化和 Softax 参数化两种情况，确立了偏差更新下的全局收敛性。此外，还推导了表值 Softmax 策略在偏差及归一化精确更新下的渐近目标误差精确主项系数。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。