AI 安全运动:该广纳百川还是守住小圈子?
AI 安全运动应该是大帐篷还是小帐篷?
安全辩论背后那场未曾明说的分歧
Arvind Narayanan 和 Sayash KapoorOct 01, 20262219144分享最近几周,关于 AI 安全出现了两种论调:要么 AI 的生存性风险真实存在且迫在眉睫,要么 AI 领袖和吹哨人的这类说法并不真诚——是一场“心理战”(psyop)、炒作,或者某种变味的监管俘获。
很少有人考虑第三种可能:这些生存性风险的警告是真诚的,但就是错的,而且反而损害了 AI 安全。仿佛所有人都默认,敲响警钟的人是天才,唯一的分歧只是他们是善意天才还是邪恶天才。
这两种论调我们都不认同。在关于 AI 安全的文章中,我们一贯的态度是认真对待这些论点,同时驳斥我们认为站不住脚的说法,并指出我们认为真实存在的安全隐患。本文正是这一议程的延续。
确实,我们在应对灾难性和系统性风险的韧性建设上投入长期不足
先来认真推敲一下部分 AI 安全圈和有效利他主义(EA)社区的观点。世界在防范灾难性风险的投入上确实存在严重问题,安全和 EA 社区在这一点上说得没错。哪怕完全抛开“超级智能”这个概念,一个事实依然成立:多年来人们一直在提出有理有据的风险论证,却始终没有换来相称的政策回应。
最广为人知的例子是为大流行病做准备上的失败。我们早有多年预警和量化估算。就在 COVID 爆发前,WHO 与世界银行召集发布的 2019 年报告 开篇就指出,存在“非常现实的威胁……一种呼吸道病原体可能导致 5000 万至 8000 万人死亡,并摧毁全球近 5% 的经济”。报告还估算,对大多数国家而言,做好充分准备的成本不过是每人每年 1 到 2 美元。
自 2009 年 H1N1 大流行以来,至少有 11 个高级别小组和委员会就改善全球大流行病防范提出过具体建议,然而“大多数建议从未得到落实”。更令人震惊的是,即便 COVID 之后,实际到位的资金也只占所需投入的一小部分。同一独立委员会在 2024 年写道:“在危机爆发时大手笔提供即时资源,比主动预防危机更能吸引眼球。但历史表明,这样做不会有好结果。”根本原因或许在于,选民奖励的是救济支出,而不是防范投入。
需要说明的是,大流行病防范的不足绝非 Effective Altruism(EA)独有的洞见,更谈不上是 AI 安全的专属议题。但 EA 在推动这一议题上确实功不可没。同样值得一提的是,EA 以期望效用计算为核心的结果主义道德框架,在揭示和量化我们的准备不足方面极为有效。这一框架争议很大,但我们认为它本身及其在生物风险等领域的应用并没有什么问题。不过,对于它延伸到长期主义(longtermism)和 AI 存在性风险的部分,我们坚决不同意。我们也不同意把 AI 放大生物风险之类的问题重新包装成“AI 安全”问题、寄望通过 alignment 等方法来解决的做法。我们的看法是:AI 只是放大了既有的系统性风险。
准备不足的问题在网络安全领域同样存在——实际上,情况更糟。与疫情或金融领域不同,网络安全界 没有 建模系统性或灾难性风险的文化。我们在上一篇文章中描述的 经济学思路 在把日常攻击的预期损失控制在可承受范围内这方面是成功的,但市场在为尾部风险和外部性合理定价方面出了名地差。
保险公司深知这一点。Lloyd's 相当直白地指出“损失可能远远超出保险市场的承受能力”,并且不为严重的国家级网络攻击承保(那是 2022 年的事)。
同样,这与 AI 近期的能力进展关系不大。五年前,AI 还没进入视野时,Arvind 在普林斯顿讲授本科信息安全课程时强调,级联故障和灾难性风险是可能发生的,可能导致整个互联网长时间瘫痪,后果或许足以改变文明。1
(回头看我幻灯片里的演讲备注,我想起自己当时为在本科基础课上讲原创研究表示了歉意,但又解释说,安全界对这一关键议题几乎完全没有关注,让我别无选择。——AN)
换句话说,Dario Amodei 关于智能体集群可能有能力“接管整个互联网”的说法,虽然措辞略显夸张,但并非明显超出可能性范围,至少值得研究。网络安全界恰好具备研究这个问题所需的技能,可惜他们似乎认为这连思考都不值得。
此外还有一些弥散、渐进而非灾难性的系统性风险。想想聊天机器人对新闻流量的冲击——点击率远低于传统搜索,加速了传统新闻业的衰落。这一转变带来的二阶社会效应短期内不会显现,而这只是数十种悄然发生的机构退化中的一种。Atoosa Kasirzadeh 提出了累积风险(accumulative risk)的概念,用来描述这种对社会韧性的缓慢侵蚀。2 在这里,人们不作为的心理与疫情的情形恰好相反:疫情因为太罕见,事后我们能把它“记忆抹除”;而退化太过普遍、太过渐进,以至于我们对此习以为常。
简言之,仅基于有充分依据而非猜测性的因果链条,就有理由认为政策制定者在防范 AI 风险上的投入严重不足,也很难不去理解那些想加强警示措辞的人。
当然,问题在于:更紧迫的公开警告是否真的能带来更好的政策。
Coxon 事件表明,扭曲的媒体环境让 x-risk 压过了更务实的关切
这份通讯很大程度上是一种换位思考的练习。让我们花点时间说清楚,为什么 AI 圈内外的人往往各说各话。
对 AI 从业者来说——无论他们是否关心安全问题——很难理解眼下世界上还有什么别的事情更重要。正如计算机科学家 Scott Aaronson 在文章 The Age of Wonders and Terrors 中写道:
“是的,对于我们余生会是什么样子,仍存在巨大的不确定性。但据我判断,有一点已不再有任何真正的不确定性:一切将主要围绕 AI 展开,围绕我们在多大程度上能成功或失败地把它的力量引向人类的繁荣。”
这篇文章在圈内广泛传播,因为这种观点被普遍认同。就连我们两位——主要以反驳这一观点的某些部分而为人所知——也认为 AI 重要到让我们早就决定把职业生涯投入其中。AI as Normal Technology 的立场是,AI 的影响“只”会与工业革命相当。
AI 圈外的人很难理解 AI 社区里这种观点有多强烈——仿佛这是一个属于 AI 的世界,我们都只是生活在其中。 但反过来看,AI 圈内的人也严重高估了公众对 AI 的关注度。盖洛普的民调显示,把 AI(或"计算机/技术进步")列为最重要议题的人大约只占0.5%。而这些人当中,多数想到的可能也是相对琐碎的事,比如社区附近要建数据中心。把 AI 视为我们时代核心议题的圈外人,少到难以想象。 AI 圈内人之所以意识不到这一点,是因为在 AI 这个话题上,受关注程度和担忧程度是脱钩的。对 AI 的担忧很高(也就是,在被专门问到时,很多人认为 AI 很重要或表示担忧),但受关注度极低(也就是,很少有人把它排在其他议题之前)。 说了这么多,其实只是铺垫:虽然我们都认同,世界上有不少灾难性和系统性的 AI 放大风险亟需采取行动,但这些风险往往难以进入公众视野。 今年夏天智能体集群入侵事件曝光后,曾出现少量报道,但媒体关注度和公众知晓度都远远比不上后来 Coxon 辞职和其生存风险预测所引发的反响。 安全社区对这些问题未能引起公众关注表达了惊讶和失望。这让整个社区绷紧了神经。作为这个社区的观察者,我们感到当时社区内部的焦虑程度,与以往任何时刻都有质的区别。AI 网络风险为什么没掀起多大水花,其实不难解释:AI 本身不是大众关注的焦点话题,黑客攻击的新闻天天都有,而且这次事件也没有对普通人造成任何已知的伤害。普通人为什么要关心这件事,理由确实不够充分。
相比之下,生存风险触动了人们的本能,而 Coxon 的辞职更是让 AI 安全议题终于破圈。需要说明的是,x-risk 的警告此前已发出过很多次,但这次有两个不同之处。第一,火药桶早已备好,只待点燃——一旦出现有新闻价值的导火索,安全圈的人就会争相向媒体发声、放大担忧。这次回应声势之大、口径之统一,甚至让一些人认定这是一场有组织的行动,但我们认为并非如此。
这次还有一个不同的原因:许多高管自认“末日概率”(p(doom))很高,却仍一路狂奔去造超级智能——在公众看来,这种选择显得鲁莽而难以理解。当然,AI 领袖们会搬出一套复杂的理由,解释自己为什么别无选择,但公众听到的不是这些。也许更深的隔阂在于,这一切都建立在公众并不认同的功利主义价值观之上。
订阅以获取基于证据的 AI 安全与影响分析。
订阅为什么 x-risk 框架可能对 AI 安全政策适得其反
回顾一下目前的论点:关于 AI 安全的含义,存在两类信念。任何二分法都会丢失一些细节,但我们认为这个划分足够准确,可以派上用场。
一类是具体风险(可能是灾难性但尚未达到生存层面),它们在 AI 出现之前就已存在,只是被 AI 放大了,我们需要通过预防和韧性建设来紧急应对。
AI 发展本身就是生存级风险——要么是因为超级智能一旦被造出来,下游风险多到防不胜防,要么是因为存在未知的未知因素——所以我们要么得想办法让超级智能变得安全(比如通过对齐),要么干脆阻止它被造出来。
关键在于,受当前信息环境的影响,正是生存风险(x-risk)这种叙事在驱动公众担忧和大量政策讨论,尽管站得住脚的因果链条始终没能说清楚(相关尝试充其量也只能算是缺乏说服力)。
那么接下来会怎样?一种乐观的可能性是,把这股当下的热潮引导到构建一整套广泛的防御措施上(也许还伴随着 AI 发展的放缓,不过在我们看来后者远没有那么重要)。
但这条路径在我们看来不太可能实现。更可能的结局是,生存风险叙事的主导地位反而会适得其反,主要有两个原因。3
极化与党派化。末日论调一向容易造成对立,因为很多人始终完全不信这一套,而现在这种对立正开始沿着党派界线撕裂。党派化对安全政策是有害的,因为它会导致政策瘫痪、高度不确定性以及随政党更替而来的政策反复。更糟的是,当人们发现所谓“10% 灭绝风险”的预测背后根本没有任何量化模型支撑时,会觉得自己被误导了,从而对安全政策产生更强的抵触——尤其是在这种本就有一方提防专家编造说辞的极化环境里。
此外,让公众陷入恐慌反而会适得其反,因为它会把解决方案的空间压缩到那些最粗暴、最能安抚情绪的选项上,而这些往往并不是最有效的。
偷换焦点。我们已经驳斥过针对生存性风险的“分心论”这一观点——如果我们既担心就业问题又担心安全问题,完全可以同时解决两者,二者并不互相干扰。但这里的问题不在于分心:这两种安全观是对同一个问题的两种不同诊断,很可能因此争夺资源。我们姑且称之为“偷换焦点”,以区别于“分心”。
具体来说,对于一种泛化的生存威胁,唯一的政策选项就是禁令。而用概率来描述威胁,会进一步把我们推向这个方向。“如果我们开发出超级智能,人类灭绝的风险是 10%”这样的说法,看起来唯一的干预手段就是阻止开发。遗憾的是,禁止超级智能的定义模糊到近乎逻辑不通。4况且,AI 安全至今仍不是模型的固有属性。其他潜在干预手段,比如暂停数据中心建设,作为安全措施也收效甚微。
最重要的是,禁止开发对现有 AI 系统带来的灾难性和系统性风险毫无作用。应对这些风险所需的方案远没有那么引人注目,这也意味着围绕它们建立的运动与针对超级智能的运动截然不同:前者需要上百种五花八门的干预手段来加固防线、增强韧性,而不是把全部精力和注意力集中在修一堵巨大而炫目的高墙上。这正是我们担心两种 AI 安全框架会相互竞争的原因。希望我们猜错了!
结论:AI 安全运动应该是大帐篷还是小帐篷?
我们所说的“大帐篷安全”有三个主要特征。
信念。大帐篷运动可以容纳不担心生存性风险的成员(比如我们,可能并不认为超级智能是一种威胁)。他们可能关心网络安全风险、生物安全风险及其他具体的灾难性风险、各种累积性风险,以及构建社会韧性的必要性。
价值观与运动建设。社会运动在价值观上必须多元化,而不仅仅是信念多元,要认识到 EA / 安全主义的道德框架在公众中并不受欢迎。吸引公众不应靠制造恐慌,而应靠清晰地描绘积极的愿景。
政策。大帐篷运动应承认,尽管信念不同,各方在政策上仍有大量共识(当然,如果只盯着灭绝性风险,这些政策恐怕远远不够)。目前已有两类明确的政策方向:透明度与责任追究。嵌入式评估刻不容缓,构建和使用 AI 的组织应系统性地为其造成的负外部性负责。大帐篷式的安全政策聚焦于先摘这些低垂的果实,同时积蓄力量,为更强硬的干预手段(比如禁止完全自主的递归自我改进)做准备。但后者应当通过扎实的工作让怀疑者相信其必要性,而不是靠恐慌推动政策。
相比之下,小帐篷安全在信念、价值观和政策目标上都更为狭隘。它崇尚意识形态的同质性(嘴上却说着相反的话)。这容易引发“纯洁性螺旋”,逐渐排挤大帐篷安全派。小帐篷安全派会降低对那些“仅仅”造成灾难性(而非灭绝性)后果的风险防御的投入。最后,这种运动意识不到自己在价值观和对 AI 安全的关注度上与公众之间的鸿沟,结果就是严重高估自己的影响力,招致反弹。
就个人而言,我们一直纳闷为什么我们的工作在 AI 安全社区里时而被欢迎、时而被攻击,现在看来,大帐篷与小帐篷的区分很好地解释了这一点。
让我们把帐篷搭得更大一些。
感谢 Abi Olvera、Joshua Saxe 和 Rohit Krishnan 对草稿提出的反馈。
1为什么网络安全社区如此排斥关于灾难性风险的讨论?我们有几点猜测。
历史上,“网络珍珠港”式的警告已经被喊过太多次,总体上没什么成效(甚至让人忽视那些低烈度、高频率的真实风险)。
我们从未经历过真正灾难性的网络安全事故——在 2001-2004 年蠕虫病毒泛滥的高峰期,互联网规模小得多,经济对它的依赖也少得多。因此,灾难性网络风险很难防范:我们完全没有数据可以参考,不知道灾难究竟长什么样、恢复路径是什么。
计算机网络领域确实有度量集中度的传统,相关研究有助于解释为什么灾难性攻击是可能的——单是 Cloudflare 一家宕机,就可能扰乱数以万计的其他网站和服务。但这里有两个重要保留意见。其一,研究止步于此,没有延伸到级联故障、韧性/恢复等方向。其二,单纯度量集中度并不能直接指导行动。集中化有其正当理由,包括它其实能提升平均情况下的安全性。我们不认为集中化趋势是可以逆转的。事实上,今天 AI 带来的额外风险反而可能加剧集中化。
2她讨论的是累积性的生存风险,与决定性的生存风险相对。但即使我们不认为这是生存层面的问题,累积性风险与决定性风险的区分依然极有价值。
3这些是修辞本身带来的弊端。如果 x-risk 一派真的成功推行了防扩散议程,无论对安全还是对发展,后果都会糟糕得难以估量,我们此前写过相关分析。所幸开放权重模型可能已经出了笼子,覆水难收。
4在没有人类监督的情况下禁止递归自我改进(recursive self improvement),这条禁令似乎更可行。哪怕你不认为 RSI 会导致超级智能,它也说得通。
2219144分享