arXiv · AI· Dayang Liang, Lang Feng, Bo An, Yunlong Liu·· 1 天前AI 评分38
SAPO：用于智能体强化学习的单轨迹自回归策略优化
SAPO: Single-Rollout Autoregressive Policy Optimization for Agentic Reinforcement Learning
AI 导读
研究者提出 SAPO 框架，利用 LLM 自回归结构在单个因果语言模型中统一策略优化与价值学习。 该框架结合了 PPO 目标与辅助的 on-policy SARSA 目标，并使用 turn-level generalized advantage estimation。
来源：arXiv · AI · arxiv.org