跳到正文
arXiv · NLP· Ivan Montero, Tomasz Jurczyk, Bhuwan Dhingra·· 9 小时前AI 评分27

RVPO:基于方差正则化的风险敏感对齐框架

RVPO: Risk-Sensitive Alignment via Variance Regularization

AI 导读

论文提出 Reward-Variance Policy Optimization (RVPO) 框架,通过惩罚奖励方差来解决无 Critic RLHF 方法中约束被忽略的问题,将优化目标从最大化总和转变为最大化一致性。

来源:arXiv · NLP · arxiv.org