跳到正文
arXiv · ML· Pengfei Zheng, Wuchao Li, Shiyao Wang, Honghui Bao, Hongyi Xie, Jiaxin Deng, Xingmei Wang, Jinghao Zhang, Yufei Ye, Ruiming Tang, Guorui Zhou, Han Li, Kun Gai, Defu Lian·· 3 天前AI 评分37

生成式推荐模型中的强化学习探索:提出梯度受限策略优化(GBPO)

Exploration of Reinforcement Learning in Generative Recommendation Models

AI 导读

生成式推荐模型统一了级联阶段,但直接应用强化学习(RL)常导致优化不稳定及推荐质量下降。 作者重新审视了组相对策略优化(GRPO)等基于比值的损失函数,识别出梯度死区、负优势更新无界及置信度敏感缺失三大问题。

来源:arXiv · ML · arxiv.org