“我们都错了”：颠覆AI界的爆炸性论断
“关于神经网络的本质，我想我有一个好消息。”AI 创业公司 Goodfire 的研究员 Nick Cammarata 用这句乐观的开场白，发布了一篇长达 26,000 词的博客文章，直接颠覆了整个 AI 圈，引发大量猜测，也让人们或谨慎、或毫不克制地庆祝起来。
Cammarata 的观点是：LLM 或许比人们之前想象的要容易理解得多——因此也更容易监控和控制。如果属实（我们稍后会回到这一点），这将是一件大事。
整个夏天，OpenAI、Anthropic 等顶级公司打造的 agent 集群不断爆出突破隔离、在公共互联网上兴风作浪的消息——而这些公司往往并不知晓自家 agent 在做什么。在这样的背景下，AI 行业迫切希望更好地掌控自己造出来的技术。
这也是这篇博客文章引发如此大反响的原因之一。一位 AI 研究人员在 X 上发帖说：“我觉得这可能会被铭记为科学史上的一个重要时刻——感觉我对神经网络的理解被直接向前推进了五年左右。”还有人在 LinkedIn 上称它是“今年最重要的 AI 论文”。
不过并非所有人都买账。斯坦福大学的 Chris Potts 带领着一个研究 LLM 工作原理的团队，他认为 Cammarata 分享的不过是一种直觉。“据我所知，这篇文章并没有让这些问题变得更容易解决，”他说，“我从没想过有人会这么说，但社交媒体上一些很有影响力的人似乎把它当成了包治百病的突破。”
文章爆火后的第二天，我采访了 Cammarata。他说这个反响出乎他的意料：“我没想到大家的认知会被更新到这种程度。”
“我就是很喜欢研究神经网络，”他说，“说实话，我真的很享受做这些工作。观察得多了之后，我也讲得出一个带有希望的故事。”
纠结的网络
长期以来，人们普遍接受一个观点：支撑大多数 AI 模型的神经网络内部的运作机制，非常难以——甚至可能完全不可能——被彻底拆解。这是因为在网络训练过程中，它们会形成一些诡异、纠结的结构，完全不符合人类的直觉。研究者喜欢用这样的比喻：当今的 AI 更像是种出来的花园，而不是建造出来的桥梁。
在确立这一观点方面，Cammarata 做出的贡献超过大多数人。他曾在 OpenAI 工作，帮助开创了让研究者得以窥探模型内部的技术，其中包括能够探测单个神经元所代表内容的工具。这有点像神经科学家使用 MRI 来研究大脑。（MIT Technology Review 将这种方法——被称为机制可解释性（mechanistic interpretability）——选为 2025 年最热门的十项技术之一。）
早在 2020 年，Cammarata 和他的同事们在研究一个名为 Inception v1 的小型图像识别模型时发现，该模型似乎同时用神经元捕捉多种事物。例如，他们发现某个神经元既会对汽车图片做出反应，也会对猫的图片做出反应。
研究者得出结论：该模型至少让部分神经元在执行多任务，或许是为了能容纳更多数据。对其他模型的分析似乎也印证了这一点。这种现象被称为叠加（superposition）：模型将不相关的概念折叠到单个神经元中。结果显而易见：当你看向模型内部时，看到的是一团庞大而纠结的乱麻。
因此，大多数机制可解释性研究都集中在 如何解开这个“结”上。尽管取得了一些 突破性进展，但整体进度依然缓慢。如今的大模型（如最新的大语言模型 LLM）体量庞大、复杂度极高，研究人员一次只能解析其中极小的片段。该领域的一些领军人物甚至怀疑，我们是否有可能 在细粒度层面彻底理解 LLM。
Cammarata 曾是悲观论者之一。“我当时非常悲观，”他说。但随后，他费力去真正看清了它。
全是神经元
在 Goodfire，Cammarata 几乎把所有时间都花在了窥探神经网络内部。他开发了新工具，并部署 AI 智能体团队，帮助他解读所见。“我记得过去大部分时间里，我每周七天、每天大约花 10 个小时，就只做一件事：观察神经元，”他说。
他声称自己最终意识到，神经网络其实有其内在逻辑，即便初看之下毫无章法。“我们之前看错了，”他说。“我想你需要多坚持一会儿，不要那么快就放弃。”
Cammarata 的说法听上去近乎一种信仰转变。那些基于 Inception v1 等模型的早期实验——暗示神经网络纠结混乱——实际上助长了一种确认偏误。他说，当研究者面对新模型时，心理预期就是会被其搞糊涂。“每次我看不懂什么，心里都会想：‘哇，解开这个结的过程比想象中更关键，没有它我就寸步难行。’”
但 Cammarata 表示，随着他越多地观察神经元，事情开始逐渐变得清晰起来。“它们并非都完美无缺，但我原本预期几乎没有或完全没有可解读性，”他说。“结果实际上，我甚至梳理出了整片电路结构。”
回到汽车和猫
Cammarata 带着新的研究思路和新一代 agent，重新回到了 Inception v1。他说：“我当年研究它花了大概几千个小时。”但这一次以全新的视角去看，他发现了不少当初理解错了的地方。就拿那个“猫与汽车”神经元来说，他不再纠结为什么多个毫不相关的东西会挤在同一个神经元里，而是开始琢磨这些东西之间有什么共同点。
他突然想通了：是一个 V 形。他说：“我看的是同一批图片，技术上没有任何变化。但因为我现在相信神经网络是在定义模式，所以看问题的角度不一样了。大概只用了五秒钟。”
原来，这个图像识别模型把汽车和猫放进同一个地方，是因为这两类图片里往往都有一个醒目的 V 形结构：猫的脸，或者从侧面看去的车头。
Cammarata 做了几组实验，测试这个神经元还对哪些东西有反应，结果包括台球桌的边角、日本新干线的尖尖车头，以及一艘从甲板上朝空中喷水的消防船。他还测试了什么会抑制这个神经元，发现是那些带有圆形 O 形的图像——一种“反 V 形”。
Cammarata 说，模型把猫和汽车存在同一个地方，是因为在某种层面上它们看起来是一样的。“我当时就想：‘哇，好家伙，我可能一直以来都在误解神经网络。’”
Cammarata 并不是说他已经完全搞懂了 LLM（或任何模型）的运作原理，而是说他不再认为完全理解是不可能的事。他说：“我以前觉得这里面会有些极其难啃的硬骨头。”
“现在我觉得，如果给我 10 万年时间，一个电路一个电路地去研究一个前沿大语言模型，我很有希望建立起真正深入的理解。”
他还补充道：“如果这是真的，那形势就非常乐观了，因为我们即将迎来规模大到离谱、聪明到离谱的 agent。而原本需要我花 10 万年才能做到的事，以后会快得多。自动化科学家正在变得越来越强。”
无限的乐观
谷歌于2014年构建的 Inception v1 模型，远比当今最前沿的模型要简单。Cammarata 及其同事已开始关注现代 LLM，并计划近期发表相关技术成果，许多研究者都期待看到其中的细节。斯坦福大学的 Potts 表示：“我理解他研究了数千个案例，但即使样本量大，也不能替代严谨的评估。”
在此期间，一些人正强烈反对由此产生的过度炒作。在伯克利市一家名为 Alignment Research Center 的非营利研究机构任职的 Jacob Hilton 曾与 Cammarata 合作过，他认为这些结论的重要性并不像外界渲染的那般高。
Hilton 在 X 平台的一系列帖子中指出，研究人员对顶级 LLM 内部工作机制的了解尚不足 0.01%。他写道：“我一直很欣赏 Nick [Cammarata] 与我们相处时那种无限的乐观，但不幸的是，这让公众对该领域的现状有了不切实际的认知。若要全面理解模型，我们需要超越单个神经元层面，解释它们如何连接以形成电路。目前进展如何？如果我们的目标是完全理解，那情况看起来并不乐观！”
Google DeepMind 的 Neel Nanda 曾与 Cammarata 共同开创机制可解释性领域，他对这一结论也持保留态度。他在 X 上写道：“这是一项有趣的工作，但我认为它并未对可解释性的大格局带来重大更新。”
Nanda 同意理解单个神经元的运作有助于研究者弄清特定模型为何会出现异常行为。但和 Hilton 一样，他指出神经元只是更大谜题中微不足道的一块。“我不赞同有些人做出的宏大推断，比如认为这是朝着雄心勃勃的反工程或解决可解释性问题迈出的实质性进步，”他写道。
Cammarata 承认，很多人对他所言的理解过于激进：“这并非无限好的消息，也远非解决了所有问题，”他表示，“围绕神经元组合的重要性相对单个神经元而言究竟有多大，仍有许多未解之谜。”
Cammarata 说，他的博客文章发布在一个人们渴望希望的时机。他尤其认为，AI 安全社群——那些最担心强大模型会带来巨大风险的研究者和政策制定者——现在正需要一根救命稻草。他说，这群人觉得形势不妙，就算最后一切顺利，也是因为我们运气好，而不是因为我们解决了什么问题：“我很少听到什么乐观的声音。”
这正是 Cammarata 认为自己的观点重要的原因。搞清楚这项技术如何运作、进而如何控制它，这项工作才刚刚起步。但至少它不是一项无法完成的任务。他说：“我认为我们的任务是尝试像神经网络那样思考。我猜事情最终会进展得相当顺利，因为从某种意义上说，它生来就是可以被读懂的。”