arXiv · ML· Daniel R. Jiang, Ankur Samanta, Yukai Yang, Jalaj Bhandari, R\'emi Munos, Tyler Lu·· 5 小时前AI 评分34
IterPO 提出单轮强化学习实现多轮策略优化
Iterative Policy Optimization: Batch-Online Multi-Turn RL via Single-Turn RL
AI 导读
IterPO 将多轮 RL 转化为单轮 GRPO 迭代，利用学习的 Q 函数替代交互环境。 在六个多轮谈判环境中验证了方法的有效性，无需用户模拟器即可训练。 解决了 LLM 智能体在多轮对话训练中的环境依赖问题。
来源：arXiv · ML · arxiv.org