后训练改变模型解读内部表征方式
热点事件持续更新
后训练改变模型解读内部表征方式
1 篇报道1 个报道来源16 小时前更新
先了解这件事
AI 综述
2026年11月19日,Jochen Laubrock在arXiv发表题为《Represented but misread: Post-training changes how language models read out what they represent》的论文,指出后训练改变模型解读内部表征的方式。 研究在六个开源基础模型及其后训练版本上进行测试,发现后训练未改变内部对文本的表征,但使模型自身答案敏感性平均下降0.34,并对先验概率使用发生偏差;线性探针仍能区分人类与AI文本。 补充实验表明该变化主要发生在监督微调阶段,涉及早期层及文本后位置内部状态;在2000条新闻数据微调后,模型在聊天语料上的判断方向甚至发生反转。
AI 根据报道生成 · 15 小时前更新
最新进展11月20日 13:00
后训练改变语言模型如何解读其内部表征报道时间线
沿着报道,了解事件的不同侧面。
11月20日
- arXiv · ML后训练改变语言模型如何解读其内部表征
研究显示,后训练并未改变语言模型内部对文本的表征,但显著改变了模型解读这些表征的方式。在六个开源基础模型及其后训练版本中,线性探针能准确区分人类与AI文本,而模型自身答案敏感性平均下降(Δd' = -0.34),且对先验概率的使用发生偏差。 补充实验表明,这种变化主要发生在监督微调阶段,涉及早期层及文本后位置的内部状态;在2,000条新闻数据微调后,模型在聊天语料上的判断方向甚至发生反转。
本事件热度走势
- 可比范围当前
- 6
- 可比范围峰值
- 911月20日 15:00
- 近 24 小时变化
- –
02.557.510
15:0018:0021:0011月21日03:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。