arXiv · NLP· Shuo Shen, Guangran Cheng, Chengqi Lyu, Xiangsen Wang, Yanan Sun, Wenwei Zhang·· 3 小时前AI 评分35
S3AC: 面向 LLM 推理的稳定化、选择性、可扩展的 Actor-Critic 方法
S3AC: Stabilized, Selective, and Scalable Actor-Critic for LLM Reasoning
AI 导读
S3AC 提出面向 LLM 推理的 Critic 训练方案，解决长链式思维中覆盖不足与梯度失衡问题。该方法结合难度感知提示采样（DAPS），在 1.5B 至 397B 参数模型上优于 GRPO-X，并在 35B 规模保持单次 rollout 训练稳定性。
来源：arXiv · NLP · arxiv.org