GPT-2小模型QK转编码器交互仪表盘发布

2026年10月23日，作者发布了一款针对GPT-2小模型的查询-键特征对交互仪表盘。该工具基于双线性稀疏字典学习架构，将模型内部激活转换为稀疏特征集，替代原有的密集查询和键值计算方式。 此仪表盘旨在让用户探索GPT-2每一层和每个注意力头中的单语义特征，填补了现有可视化工具在注意力机制分析上的空白。作者表示，该工具为研究注意力模式形成提供了独立的实验手段，与Anthropic的SAE仪表盘在精神上相似但专注于查询-键特征对。

AI 根据报道生成 · 49 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。