跳到正文
LessWrong · All Posts· nuppal·· 2 天前AI 评分25

GPT-2 特征电路追踪:用转码器分解注意力与 MLP 组件

Tracing Feature Circuits

AI 导读

该研究旨在 GPT-2 中识别特征电路,通过转码器替换每个注意力单元和 MLP 组件。 具体使用了 3 种转码器架构,分别替换查询-键电路、值电路和 MLP 组件,以分解模型行为。 这种稀疏字典学习方法将黑盒模型分解为可解释的自编码器部分。

来源:LessWrong · All Posts · lesswrong.com