跳到正文
arXiv · ML· Elai Ben-Gal, Stela Tong·· 3 天前AI 评分26

多智能体 LLM 强化学习中基于过滤反馈的边际贡献策略梯度

Marginal-Contribution Policy Gradients under Filtered Feedback for Multi-Agent LLMs

AI 导读

提出多智能体 LLM 强化学习的边际贡献策略梯度方法,解决单一奖励信号带来的高噪声问题。 证明贡献信号能保持系统梯度正确性,并将梯度噪声分解为三项以优化学习过程。 在 GSM8K 数据集上使用 Llama-3.2-3B 验证,贡献信号比共享奖励学习更快(p=7.5×10^-5)且容忍两倍的学习率。

来源:arXiv · ML · arxiv.org