OpenAI可解释性研究进展引界内分歧

1. 21:50
   LessWrong · All Posts

   Zvi 解读 Goodfire 神经网络可解释性研究

   Zvi 撰文梳理 Goodfire 发布的神经网络可解释性研究引发的社区讨论。他引用了 OpenAI 研究者等对该研究的积极评价，同时也指出部分观点认为该成果未实现神经元可解释性从 1.7% 到 90% 的直接跨越，并探讨了该工作对对齐研究的潜在意义。

1. 00:22
   Sam Altman (X)

   OpenAI 研究者称自动化可解释性取得突破

   很高兴看到 Nick 发布这条消息！ 引用式 teaser 例外：若主推文几乎没有信息量（纯感叹 / 转发 / 号召，如「Go build!」「活久见」），而下面这条引用推文才是真正的新闻，则 body_zh 改为用一两句话概括【引用推文】的核心要点，让正文和标题对得上（别只输出一句空洞的主推文），可在结尾带一句主推文的简短反应；其余情况仍然只翻译主推文。 @nickcammarata（仅供理解上下文；按上面的「引用式 teaser 例外」判断要不要概括它）： 可解释性可能是目前世界上最重要的科学问题，因为如果我们不知道自己正在构建什么，就不可能解决对齐问题。我认为我有关于它的利好消息。我曾在 OpenAI 合作撰写早期机制可解释性研究，当时对此持悲观态度，因为神经网络似乎会折叠成任意纠缠的结。多年后，我启动了 OpenAI 第一个大规模自动化可解释性项目，使用当时已有的基础工具，发现约 2% 的神经元具有可读性。 随着现代智能体工具的应用以及更深入的观察，情况看起来完全不同。在参数高达数万亿的模型中，绝大多数神经元都是可读的，且其电路结构美观。许多著名的纠缠神经元案例被证明是误解。我原本预期的阻碍大部分并不存在。我现在认为，富有野心的可解释性将在我们最需要它的时候得到解决，甚至可能很快，因为自动化科学家工具不断在改进。这或许是可解释性领域的“苦涩教训”：简单的东西，在极端规模下，行得通。 https://already-clean.goodfire.com/

1. 21:48
   The Decoder

   AI可解释性是否接近突破：新研究引发领域分歧

   AI可解释性领域对一篇新论文是否意味着重大突破产生分歧，Neel Nanda认为其对整体局面影响有限。Goodfire的Chris Olah提出许多被标记为多义性的神经元实际是共享形状的探测器，并在Qwen3-32B中观察到约90%的神经元有单一主要功能。Google DeepMind的Neel Nanda则认为叠加理论依然成立，且语言模型存储的事实远多于其神经元数量，对可解释性前景保持悲观。

2. 07:57
   机器之心精选

   OpenAI 可解释性团队认为 90% 神经元功能单一，AI 将解决神经网络黑箱问题

   OpenAI 可解释性团队创建人 Nick Cammarata 发表文章指出，现代智能体工具使万亿参数大模型几乎可读，神经网络并非纠缠的结，预期的可解释性障碍大多不存在。

3. 00:31
   LessWrong · All Posts

   Nick Cammarata：神经网络内部结构可能比想象中更清晰，可解释性进展显著

   LessWrong 用户 Yair Halberstadt 转载并评论了 OpenAI 研究员 Nick Cammarata 的长文，指出其新研究利用现代 agentic 工具和更大规模的分析，发现万亿参数模型中绝大多数神经元是可以解读的，且其电路结构清晰。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。