跳到正文
arXiv · ML· Jochen Laubrock·· 16 小时前AI 评分23

后训练改变语言模型如何解读其内部表征

Represented but misread: Post-training changes how language models read out what they represent

AI 导读

研究显示,后训练并未改变语言模型内部对文本的表征,但显著改变了模型解读这些表征的方式。在六个开源基础模型及其后训练版本中,线性探针能准确区分人类与AI文本,而模型自身答案敏感性平均下降(Δd' = -0.34),且对先验概率的使用发生偏差。 补充实验表明,这种变化主要发生在监督微调阶段,涉及早期层及文本后位置的内部状态;在2,000条新闻数据微调后,模型在聊天语料上的判断方向甚至发生反转。

来源:arXiv · ML · arxiv.org