arXiv · ML· Kaichen Zhang, Yuzhong Hong, Junwei Bao, Hongfei Jiang, Yang Song, Dingqian Hong, Hui Xiong·· 8 小时前AI 评分23
GVPO: 用于大语言模型后训练的群组方差策略优化
GVPO: Group Variance Policy Optimization for Large Language Model Post-Training
AI 导读
GVPO 提出了一种大语言模型后训练方法，通过整合 KL 约束奖励最大化的解析解到梯度权重中，解决了 GRPO 等现有方法的训练不稳定问题。 该方法保证拥有唯一的 KL 约束最优解，支持灵活的采样分布，避免了对策略和重要性采样的限制。 该研究已被 NeurIPS 2025 会议接收，扩展版本 GVPO++ 已公开。
来源：arXiv · ML · arxiv.org