研究揭示后训练路径放大LLM价值观偏好

2026年10月，Yang Liu等人发表研究，探讨后训练对大语言模型价值观偏好的影响。该研究在arXiv平台发布，属于自然语言处理领域的探索。 研究基于SFT、DPO和GRPO三种后训练方法开展受控实验。结果表明，后训练过程会放大训练语料中不同人群观点的不平衡现象，且放大程度因训练路径不同而异。 研究发现，价值观偏好放大后能否消除取决于具体训练方法及语料观点混合比例。值得注意的是，即使蒸馏无显性观点问题的语料，这些偏好仍会转移至学生模型，揭示了价值观塑造的复杂性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。