arXiv · NLP· Yunan Wang, Minghui Song, Zihan Zhang, Shaohan Huang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, Qi Zhang·· 8 小时前AI 评分26
G2PO：面向长时程智能体强化学习的群体图策略优化
Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning
AI 导读
G2PO提出群体图策略优化算法，解决长时程智能体强化学习中奖励稀疏和延迟问题。 该算法将线性交互轨迹转化为全局状态转移图，采用组聚合状态值估计和以边为中心的优势估计，降低采样方差。 在WebShop等基准测试中，G2PO成功率先于GRPO提升高达22.2%。
来源：arXiv · NLP · arxiv.org