OpenAI 研究者称自动化可解释性取得突破

很高兴看到 Nick 发布这条消息！ 引用式 teaser 例外：若主推文几乎没有信息量（纯感叹 / 转发 / 号召，如「Go build!」「活久见」），而下面这条引用推文才是真正的新闻，则 body_zh 改为用一两句话概括【引用推文】的核心要点，让正文和标题对得上（别只输出一句空洞的主推文），可在结尾带一句主推文的简短反应；其余情况仍然只翻译主推文。 @nickcammarata（仅供理解上下文；按上面的「引用式 teaser 例外」判断要不要概括它）： 可解释性可能是目前世界上最重要的科学问题，因为如果我们不知道自己正在构建什么，就不可能解决对齐问题。我认为我有关于它的利好消息。我曾在 OpenAI 合作撰写早期机制可解释性研究，当时对此持悲观态度，因为神经网络似乎会折叠成任意纠缠的结。多年后，我启动了 OpenAI 第一个大规模自动化可解释性项目，使用当时已有的基础工具，发现约 2% 的神经元具有可读性。 随着现代智能体工具的应用以及更深入的观察，情况看起来完全不同。在参数高达数万亿的模型中，绝大多数神经元都是可读的，且其电路结构美观。许多著名的纠缠神经元案例被证明是误解。我原本预期的阻碍大部分并不存在。我现在认为，富有野心的可解释性将在我们最需要它的时候得到解决，甚至可能很快，因为自动化科学家工具不断在改进。这或许是可解释性领域的“苦涩教训”：简单的东西，在极端规模下，行得通。 https://already-clean.goodfire.com/