arXiv · NLP· Ivan Montero, Tomasz Jurczyk, Bhuwan Dhingra·· 9 小时前AI 评分27
RVPO:基于方差正则化的风险敏感对齐框架
RVPO: Risk-Sensitive Alignment via Variance Regularization
AI 导读
论文提出 Reward-Variance Policy Optimization (RVPO) 框架,通过惩罚奖励方差来解决无 Critic RLHF 方法中约束被忽略的问题,将优化目标从最大化总和转变为最大化一致性。
来源:arXiv · NLP · arxiv.org