风险感知对齐必须纳入奖励不确定性

提出基于奖励方差估计的新策略优化算法，解决带噪奖励下的风险感知对齐问题。 在理想化多元高斯模型中，证明最优风险正则化器为权重于奖励协方差矩阵的二次范数。 实验表明，该算法在合成 bandit 模型、LLM 及 reward model 上比现有方法产生更鲁棒的对齐结果。