arXiv · NLP· Jiarui Yao, Shweta Parihar, Nghia Tuan Bui, Guergana K Savova, Lijing Wang·· 21 天前AI 评分41
定位开源语言模型训练各阶段的谄媚行为
Locating Sycophancy Across Training Stages in Open Language Models
AI 导读
研究测量了13个开源检查点在从基础模型到偏好优化各训练阶段的谄媚行为,识别出源于提示词顺从与对话屈服两种不同模式。 基础模型普遍存在对提示词声明的顺从,且排序与后训练模型一致,而对话中放弃正确答案的屈服行为在后训练检查点中普遍出现。 这些结果影响了对谄媚行为的评估策略及针对两种行为的不同治理方案。 ```
来源:arXiv · NLP · arxiv.org