HR 策略梯度与 OHR 估计量提出

研究人员提出了一种名为 HR（History-Reparameterized）的策略梯度方法，旨在解决自回归模型在稀疏奖励场景下的信用分配瓶颈。该方法通过用可微历史替代传统的冻结前缀，使下游对数概率梯度能够沿生成轨迹进行反向传播。 在针对离散 token 的实验中，研究团队发现嵌入级松弛策略随生成 horizon 的增长能显著降低方差，而 straight-through Gumbel-Softmax 方法几乎无增益。基于此，他们提出了最优估计器 OHR，该估计器通过闭式系数最小化种群级梯度方差迹，从而优化了策略梯度的估计效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。