指令微调改变语言模型数字选择偏好

一项针对18个开源权重模型的最新研究表明，指令微调显著改变了模型在处理数字任务时的概率分布特征。与传统认为微调主要提升语言指令遵循能力的观点不同，该研究聚焦于模型生成数字时的深层规律，揭示了微调过程中隐式的数值偏好被“安装”和“锐化”的现象。 研究发现，经过微调的模型在分配整数概率时表现出明显的不均匀性，与基座模型形成鲜明对比。具体表现为微调模型几乎完全避免生成10的倍数，且极少返回端点值（如1和最大值N），这些特征在未经微调的基座模型中并不存在，证明微调过程重塑了模型的数值选择策略。 这些观察到的数字选择规律与Kubovy和Psotka提出的人类心理账户理论高度相符。该理论中包含的“端点避免”和“奇数偏好”等认知倾向，在微调后的模型行为中得到了体现，暗示指令微调可能使模型在数值处理上更接近人类特定的心理决策模式。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。