PEARL框架发布：实现语言模型失准行为持久压制

Luxi He 发布论文提出 PEARL 框架，旨在抑制语言模型中的未对齐行为。该方法是改进型 GRPO 变体，通过扩展前缀对抗性强化学习，将中间状态沿缓存轨迹采样的延续内容加入回滚过程。 在 Qwen3-4B 和 GPT-OSS-20B 两个模型族上的验证显示，PEARL 在保留任务准确率的同时，对广泛触发的失准行为表现出更强的压制效果，实现了不良行为的即时压制与训练后持久保留。 该方法特别适用于失准行为广泛且无法通过针对性 SFT 解决的场景，为后期移除模型不良行为提供了更具持久性的解决方案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。