针对 GPT-2 注意力机制的查询-键特征对交互仪表盘

作者推出查询-键转码器仪表盘，用于在 GPT-2 每一层和每个注意力头中探索单语义特征。 该工具基于双线性稀疏字典学习架构，替代原有的密集查询和键值计算，将模型内部激活转换为稀疏特征集。 此仪表盘填补了现有可视化工具在注意力机制分析上的空白，为研究注意力模式形成提供了独立实验手段。