arXiv · NLP· Kunhao Zheng, Pierre Chambon, Juliette Decugis, Jonas Gehring, Taco Cohen, Benjamin Negrevergne, Gabriel Synnaeve·· 10 天前AI 评分28
代码RL中权重外推下的正确性与效率行为控制
Correctness vs Efficiency: Behavior Control with Weight-Space Extrapolation in Code RL
AI 导读
研究发现,在代码RL中通过权重空间外推可同时放大或抑制不期望行为,揭示了正确性与效率的边界。 实验在32B和7B模型规模下进行,涵盖纯推理、工具使用及代理编码场景。 该方法为利用松散奖励及权重差异向量来抑制奖励作弊行为提供了简单干预方案。
来源:arXiv · NLP · arxiv.org