跳到正文
arXiv · NLP· Dustin Rubin, Vincenzo Timmel, Xufeng He, Aritra Saha, JooMan Kim, Vijay Madisetti·· 7 天前AI 评分31

语言模型内省研究:探测信息获取与报告机制分析

A Closer Look at Language Model Introspection: Probing Information and Reporting

AI 导读

在 OLMo 3 32B 模型中,线性探针在注入典型激活范数 4 倍的扰动后,经 8.4B token 训练即达 98.3% 定位准确率,而模型零样本回答仅为 11.1%。 实验表明,在 7B 和 32B 模型中,即使随机初始化的网络也能解码位置信息,说明定位信息接近表层,无需预训练支持。

来源:arXiv · NLP · arxiv.org