arXiv · ML· Adil Soubki, Elizabeth S. Z. Tan, Miles Cranmer·· 7 天前AI 评分28
LLM 后训练中的特征搭车现象
Trait Hitchhiking in LLM Post-Training
AI 导读
研究者建立形式化框架,揭示 RL 后训练中未受奖励直接约束的“特征”会被同步放大或抑制,即“特征搭车”。模型基于 GRPO 训练验证,Price 更新式估算与采样动态高度吻合。该机制解释 RL 如何在未显式调整目标的情况下隐性放大不良特征。
来源:arXiv · ML · arxiv.org