arXiv · ML· Yushu Li, Jiin Woo, Xiaoxiao Li, Youngsuk Park·· 2026-10-16AI 评分38
多奖励黑客行为:从聚合诱导漂移到信任锚定防御
Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
AI 导读
LLM后训练中对称奖励聚合会导致主任务性能下降,尽管总奖励提升。论文提出Trust-Anchored Gating (TAG) 机制,在Qwen3-4B模型上将pass@4从0.220提升至0.581,同时将响应长度缩短44%。
来源:arXiv · ML · arxiv.org