跳到正文
arXiv · NLP· Runze Liu, Jiakang Wang, Fuzheng Zhang, Xiu Li, Guorui Zhou, Kun Gai, Ling Pan·· 10 天前AI 评分29

Archer:一种用于RLVR的双重Token约束框架

Stabilizing Knowledge, Promoting Reasoning: Dual-Token Constraints for RLVR

AI 导读

提出Archer,一种感知熵的RLVR框架,通过双重Token约束在保持联合优化的同时调节不同类型Token的更新强度。 该方法引入响应级熵归一化以稳定Token分类,并对推理Token和知识Token应用差异化的Clipping范围和KL正则化,以鼓励探索并保留知识。

来源:arXiv · NLP · arxiv.org