arXiv · AI· Luxi He, Pengcheng Jiang, Jifan Zhang, Jiawei Han, Danqi Chen·· 8 小时前AI 评分39
PEARL 方法实现语言模型失准行为的持久压制
Suppressing Misaligned Behaviors in Language Models, Durably
AI 导读
PEARL 是改进型 GRPO 变体，通过扩展前缀对抗性强化学习，实现语言模型不良行为的即时压制与训练后持久保留。 在 Qwen3-4B 和 GPT-OSS-20B 两个模型族上验证，PEARL 在保留任务准确率的同时，对广泛触发的失准行为表现出更强的压制效果。 该方法为后期移除模型不良行为提供了更具持久性的解决方案。
来源：arXiv · AI · arxiv.org