跳到正文
arXiv · NLP· Hongzhan Chen, Tao Yang, Yuhua Zhu, Shiping Gao, Xiaojun Quan, Ting Yao·· 10 天前AI 评分36

通过对数项凸性稳定策略优化

Stabilizing Policy Optimization via Logits Convexity

AI 导读

研究指出监督微调损失关于模型 logit 的凸性是 SFT 训练稳定的关键,而 PPO 缺乏该属性。 作者提出 Logits Convex Optimization (LCO) 框架,通过在 logit 层面模拟凸性效应来优化策略,在多模型族的广泛基准测试中持续优于传统 RL 方法。 该工作已被 NeurIPS 2026 接收。

来源:arXiv · NLP · arxiv.org