arXiv · AI· Yingjian Chen, Lang Zhou, Zixin Zhao, Pingfan Li, Weishi Zheng, Zhilin Zhao·· 5 小时前AI 评分24
ConCal 通过共享延续校准长时程智能体强化学习中的动作价值
Action-Value Calibration via Continuation Sharing for Long-Horizon Agentic Reinforcement Learning
AI 导读
提出递归延续价值估计器 ConCal，通过匹配访问状态并整合共享延续证据，减少了对单次采样延续的依赖，缓解局部信用分配失真。 在 Qwen2.5-1.5B-Instruct 模型上，ConCal 在 ALFWorld 和 WebShop 任务中的成功率分别比 GiGPO 高出 3.39 和 5.86 个百分点。 该方法无需额外 rollout 即可优化策略，代码已公开。
来源：arXiv · AI · arxiv.org