使用 NLA 解释 Qwen3-8B 注意力头输出的初步探索

作者构建了一种 NLA，用于解释 Qwen3-8B L24 层注意力头的输出，生成描述其功能的文本。 该 NLA 由激活口述器（AV）和重构器（AR）组成，通过 SFT 训练，目前仅对部分注意力头有效，效果难以评估。