arXiv论文更新：风险感知对齐需纳入奖励不确定性

2026年10月22日，Debangshu Banerjee等人在arXiv上更新了论文《Risk-Aware Alignment Must Incorporate Reward Uncertainty》（编号2410.23726v2）。该版本提出了一种基于奖励方差估计的新策略优化算法，旨在解决带噪奖励下的风险感知对齐问题。 论文在理想化多元高斯模型中证明，最优风险正则化器为权重于奖励协方差矩阵的二次范数。这一理论推导为处理奖励不确定性提供了数学基础，明确了风险感知对齐中必须考虑奖励波动性的必要性。 实验部分显示，该算法在合成bandit模型、LLM及reward model上的表现优于现有方法，产生了更鲁棒的对齐结果。这表明将奖励不确定性纳入对齐过程，能有效提升AI系统在噪声环境中的稳定性和安全性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。