1B模型同安全训练不同预训练种子越狱弱点差异研究

Chi-Wei Chang等人在arXiv发布论文，研究同一安全训练的1B语言模型在不同预训练随机种子下的越狱表现，发现不同种子会导致不同的越狱弱点。 在25种预训练数据配方和150个模型中，来自相同预训练的模型在越狱成功率上相关性为0.984，而不同种子降至0.811，表明预训练种子的微小差异会显著影响越狱表现。 研究还发现，一个随机选取的50条提示子集仍能98%准确识别模型所属的75个预训练版本之一，显示该特征具有强可辨识性。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。