arXiv · NLP· Dustin Rubin, Vincenzo Timmel, Xufeng He, Aritra Saha, JooMan Kim, Vijay Madisetti·· 7 天前AI 评分31
语言模型内省研究:探测信息获取与报告机制分析
A Closer Look at Language Model Introspection: Probing Information and Reporting
AI 导读
在 OLMo 3 32B 模型中,线性探针在注入典型激活范数 4 倍的扰动后,经 8.4B token 训练即达 98.3% 定位准确率,而模型零样本回答仅为 11.1%。 实验表明,在 7B 和 32B 模型中,即使随机初始化的网络也能解码位置信息,说明定位信息接近表层,无需预训练支持。
来源:arXiv · NLP · arxiv.org