arXiv · ML· Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik·· 16 小时前AI 评分32
Persistent Sparse Autoencoders:语言模型表示中特征特定时间尺度的学习
Persistent Sparse Autoencoders: Learning Feature-Specific Timescales in Language Model Representations
AI 导读
提出Persistent Sparse Autoencoders,为每个特征学习持久系数,使特征特定时间尺度从重建中自然涌现。 实验表明其保持具有竞争力的重建质量,短时间尺度特征保持局部可解释性,长时间尺度特征积累高层上下文信息。 在提示注入监测案例中,慢特征在长上下文中保留注入信号并因果影响监测判断。
来源:arXiv · ML · arxiv.org