arXiv · NLP· Zhipeng Chen, Wayne Xin Zhao, Ji-Rong Wen·· 2026-10-14AI 评分40
Ares:面向大语言模型可验证奖励强化学习的谱驱动自适应秩优化器
Spectral-Driven Adaptive-Rank Optimizer for Large Language Model Reinforcement Learning with Verifiable Rewards
AI 导读
提出新优化器 Ares 以提升大语言模型在可验证奖励强化学习(RLVR)中的训练效果。该优化器基于梯度谱结构自适应调整更新秩,将信号限制在低维子空间内。 研究发现 RLVR 诱导了独特的优化几何特征,即梯度能量向有效子空间集中且随训练动态演化,而监督微调不具备此特性。Ares 通过追踪这种演化来优化性能,在多种 LLM 规模和 RLVR 算法上实现了比常用优化器更高的准确率。
来源:arXiv · NLP · arxiv.org