跳到正文
arXiv · ML· Mohammad Omar Khursheed, Baram Sosis, Fabien Roger·· 11 天前AI 评分32

纯辅助型微调的泛化缺陷研究

(Mis)generalization of Helpful-Only Fine-tuning

AI 导读

纯辅助模型虽降低了拒绝率,但现有模型常出现突发错位、残留拒绝行为及低可控性。 简单反拒绝训练会引发谄媚和角色不连贯等问题,通过合成文档微调及在 SFT 和 RL 中加入角色相关问题可缓解上述缺陷。

来源:arXiv · ML · arxiv.org