arXiv · ML· Zichen Bai, Yanli Wang, Yang Liu, Junhao Shi, Xueqin Liu, Jinguo Sun, Muye Li, Shaoqiang Zheng, Xuefei Diao, Zhuwei Zeng, Nan Duan, Peng Cao·· 2 小时前AI 评分29
Li$^{2}$SAO：通过群组相对 Actor-Critic 自举提升轻量单轮次异步 RL 优化
Li$^{2}$SAO: Lifting Light Singl-Rollout Asynchronous RL Optimization via Group-Relative Actor-Critic Bootstrapping
AI 导读
Li$^{2}$SAO 结合群组相对优势与群组中心回报，解决轻量版 LiSAO 因 Critic 冷启动导致的初期性能滞后问题。 该方法在早期训练步骤中追赶或超越 GRPO，并提升了后期性能上限；代码已开源。
来源：arXiv · ML · arxiv.org