跳到正文
arXiv · NLP· Xin Li, Hao Jiang, Jinghao Guo, Weisi Lin, Chau Yuen·· 2026-10-14AI 评分33

通过 ReMaRk 移除 LLM 推荐器 GRPO 中的响应噪声

Many Right Answers, One Training Example: Removing Responder Noise from GRPO for LLM Recommenders

AI 导读

针对 Rank-GRPO 将 85% 方差归因于响应抽样而非列表质量的问题,ReMaRk 提议基于所有回复标题的并集进行联合评分。 该方法在 7 个基座模型和 3 个数据集上表现优于 Rank-GRPO,在 25% 至 53% 的 RL 步数内达到后者的验证召回率,且 GPU 耗时更少。

来源:arXiv · NLP · arxiv.org