研究显示评分员分数差异可驱动AI模型特质转移

2026年11月2日，arXiv发布AI领域新研究，探讨“阈限强化学习”中特质通过评分员分数传播的机制。该研究聚焦大语言模型的后训练阶段，表明仅通过调整评分员（Reward Model）的分数差异，即可实现模型特质的“阈限转移”，即学生模型的偏好会随评分员偏好的改变而发生相应变化。 在具体实验设计中，研究团队测试了48个设计单元，发现其中17个以5%的错误发现率成功确立了特质转移现象。进一步控制变量分析显示，一旦移除评分员之间的奖励差异，这种特质的转移效果随即消失，证实了评分员分数差异是驱动转移的关键因素。 研究团队指出，这一原则可直接应用于AI安全领域。通过监测模型训练前阶段的特征，可以预测并部分预防不良特质在后续传播中的风险，为提升大模型的安全性和可控性提供了新的理论依据与技术路径。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。