arXiv · NLP· Yang Liu, Shaoyang Xu, Masahiro Kaneko, Chengzhi Zhong, Wenxuan Zhang, Chenhui Chu·· 3 小时前AI 评分36
后训练如何塑造大语言模型的价值观偏好？
How Does Post-Training Shape LLM Value Preferences?
AI 导读
基于SFT、DPO和GRPO的受控实验表明，后训练会放大语料中不同人群观点的不平衡，且放大程度因训练路径而异。价值观偏好被放大后，能否消除取决于具体训练方法和语料观点混合比例。这些偏好甚至会在蒸馏无显性观点问题的语料时转移至学生模型。
来源：arXiv · NLP · arxiv.org