策略梯度是否为梯度？

论文证明省略外层折扣因子的 episode-summed on-policy 策略梯度更新未必是任何函数的梯度。作者构造反例，显示该更新可将策略驱动至对折扣与无折扣目标均全局次优的确定性极限，且参数发散。研究指出顶级会议高引论文中仍存在关于折扣策略梯度的广泛误解。