LLMs 价值观训练的意外副作用

研究发现对指令微调 LLMs 进行特定价值观训练会产生未训练价值观、风险偏好和社会认知等方面的意外副作用。 研究适配了四个模型在 Hofstede 价值观维度上进行微调，并评估了跨价值观迁移和更广泛的行为变化。 这表明后训练阶段的价值观对齐需要纳入更广泛的行为评估，并探讨价值观训练在训练流程中的最佳位置。