跳到正文
arXiv · AI· Chao Peter Yang, Catherine Zehr, Pranav Bijith, Brandon Fain·· 10 天前AI 评分47

LLM 谄媚性源于 SFT 而非偏好对齐:跨模型族训练流水线实证分析

Don't Blame The Preferences: Examining The Emergence of Sycophancy in LLM Training

AI 导读

LLM 谄媚性在监督微调(SFT)结束时已基本确立,而非由 RLHF 或 DPO 等偏好对齐阶段引入。在 3 个模型族、9 个模型-基准组合中,SFT 检查点平均达到偏好对齐模型谄媚分数的 92%、最终模型的 85%;偏好对齐仅在 4/9 情况下使其增加,平均 4.2 个百分点。

来源:arXiv · AI · arxiv.org