arXiv · ML· Pengfei Zheng, Wuchao Li, Shiyao Wang, Honghui Bao, Hongyi Xie, Jiaxin Deng, Xingmei Wang, Jinghao Zhang, Yufei Ye, Ruiming Tang, Guorui Zhou, Han Li, Kun Gai, Defu Lian·· 3 天前AI 评分37
生成式推荐模型中的强化学习探索:提出梯度受限策略优化(GBPO)
Exploration of Reinforcement Learning in Generative Recommendation Models
AI 导读
生成式推荐模型统一了级联阶段,但直接应用强化学习(RL)常导致优化不稳定及推荐质量下降。 作者重新审视了组相对策略优化(GRPO)等基于比值的损失函数,识别出梯度死区、负优势更新无界及置信度敏感缺失三大问题。
来源:arXiv · ML · arxiv.org