跳到正文
arXiv · AI· Qirui Liu, Yichen Sun, Yan Wang, Yu Mi, Wei Cao, Yue Shen, Zhixuan Chu, Kui Ren·· 1 天前AI 评分23

EOPSA:高效在策略自蒸馏安全对齐方法

EOPSA: Efficient On-Policy Self-Distilled Safety Alignment

AI 导读

EOPSA 提出一种高效在策略自蒸馏安全对齐框架,将推理计算量减少约 50%,且仅对约 2% 的 token 进行反向传播,在保持 32B 参数规模模型推理能力的同时提升安全合规性。 该方法通过自适应 rollout 调度和选择性蒸馏,排除风格漂移导致的无效梯度噪声,确保计算资源集中于安全关键 token。代码和模型已在项目仓库开源。

来源:arXiv · AI · arxiv.org