arXiv · ML· Mohammad Hossein Amani, Leonardo Bocchieri, Maxime Peyrard, Cl\'ement Hongler, Robert West·· 6 小时前AI 评分31
HR 策略梯度：通过可微历史重参数化解决自回归模型的信用分配瓶颈
On Reparameterizing the Score Function
AI 导读
研究提出 HR 策略梯度，用可微历史替代冻结前缀，使下游对数概率梯度能沿生成轨迹反向传播，解决稀疏奖励下的信用分配瓶颈。 针对离散 token，嵌入级松弛随 horizon 增长显著降低方差，而 straight-through Gumbel-Softmax 几乎无增益；最优估计器 OHR 通过闭式系数最小化种群级梯度方差迹。
来源：arXiv · ML · arxiv.org