LessWrong · All Posts· nuppal·· 2 天前AI 评分25
GPT-2 特征电路追踪:用转码器分解注意力与 MLP 组件
Tracing Feature Circuits
AI 导读
该研究旨在 GPT-2 中识别特征电路,通过转码器替换每个注意力单元和 MLP 组件。 具体使用了 3 种转码器架构,分别替换查询-键电路、值电路和 MLP 组件,以分解模型行为。 这种稀疏字典学习方法将黑盒模型分解为可解释的自编码器部分。
来源:LessWrong · All Posts · lesswrong.com