AI 存亡风险概率估计仍不可靠,不足以指导政策
AI 存亡风险的概率估计(仍然)不可靠,不足以指导政策
投机性的猜测如何借伪量化洗白
Arvind Narayanan 和 Sayash Kapoor2026 年 9 月 28 日1733126 分享两年多前,我们写过一篇对 p(doom)(毁灭概率)的详细解构,指出它的主要作用就是给模糊的直觉和恐惧披上一层量化的外衣,借此洗白。这篇文章如今有了新的现实意义:p(doom) 的话语正在以前所未有的程度驱动公共讨论和政策关注。不出所料,如今对 AI 存亡风险的概率估计并不比 2024 年的更严谨。因此我们重发此文。
首先要说清楚我们不是在说什么。
我们不是说预测者(或其他尝试量化 AI 存亡风险的人)有意误导。可惜的是,我们认为其效果仍然具有误导性。
总体而言,对预测进行量化是件好事。事实上,Arvind 一直担任 Forecasting Research Institute 的“专家 AI 纵向小组”(Longitudinal Expert AI Panel)的顾问,他认为这项工作非常有价值。正如本文所说,难以构建有用的量化模型这个问题是 AI 存亡风险预测所特有的,并非预测领域的普遍现象。
我们写这篇文章的目的,并不是想劝说 AI 安全倡导者停止用概率来沟通(就算想劝也劝不住)。而是希望接收这些概率的人——尤其是政策制定者——能意识到:与我们所接触的几乎所有其他量化预测不同,这些概率并非来自经过验证的模型或方法。
不过,我们认为这种 p(doom)(毁灭概率)文化体现了一种特定的 AI 安全观:它把生存风险和超级智能置于中心位置,实际上反而不利于更广义的安全事业。几天后我们会发表一篇后续文章来阐述这一观点,并呼吁建立一个大帐篷式的安全运动。
以下是原文。
AI 生存风险概率仍过于不可靠,不足以指导政策
面对 AI 带来的生存风险威胁,而研究人员又缺乏共识,政府该有多认真地对待它?一方面,生存风险(x-risks)本身就带有推测性质:等拿到确凿证据时,可能已经来不及了。另一方面,政府必须排定优先级——毕竟它们也不会太担心外星人入侵带来的生存风险。
AI 安全社区高度依赖预测 AI 在特定时间段内导致人类灭绝的概率,以此支撑决策和政策。比如,如果估计未来几十年内的概率是 10%,这显然高到足以让全社会把它列为头等大事。
我们的核心观点是:AI 生存风险预测太不可靠了,根本无法为政策提供依据,实际上还极具误导性。
看看幕后
如果我们两人预测外星人在未来十年内登陆地球的概率是 80%,你会认真对待这个说法吗?当然不会。你会要求我们拿出证据。虽然这看起来显而易见,但在 AI 生存风险的争论中,人们似乎忘记了:概率本身并不具有权威性。概率通常来自某种有依据的方法,因此我们有一种强烈的认知偏差,认为量化的风险估计比定性的判断更可信。但概率也可能只是拍脑袋的猜测。请带着这一点读完本文(在更广泛的 AI 生存风险讨论中也应如此)。
如果我们对肯塔基德比赛马下注的赔率做出预测,并不需要给你什么理由——你信不信随你。但如果政策制定者要基于某个预测者给出的概率采取行动,他们就必须能向公众解释这些概率的依据(而这些解释又必须来自预测者本人)。论证对政府的合法性和权力行使至关重要。自由民主制的核心原则之一是:国家不应基于理性人可以拒绝的争议性信念去限制人民的自由。
当政策代价高昂时,解释尤其重要;而当这些代价在利益相关方之间分配不均时,就更是如此。限制 AI 模型开放发布就是一个典型例子。政府能否说服那些本可以从开放模型中获益的人和企业,让他们为一种仅停留在推测阶段的未来风险做出牺牲?
本文的主要目的,是分析政策讨论中被引用的那些 x-risk 概率估计,究竟有没有任何站得住脚的论证。我们并不反对把 AI x-risk 预测当作一种学术活动,这些预测对企业和其他私人决策者也可能有用。我们质疑的只是它在公共政策语境中的使用。
预测者想说服怀疑者,已知途径基本上只有三条:归纳法、演绎法和主观概率估计。下面我们逐一讨论。这三种方法都要求双方在一些关于世界的基本假设上达成共识(这些假设本身无法被证明),区别在于从这组假设推导出概率估计的经验和逻辑方式不同。
缺乏参照类别,归纳概率估计不可靠
大多数风险估计都是归纳性的:基于过去的观察。例如,保险公司根据以往类似司机的车祸数据来预测某个人的车祸风险。用于概率估计的观察集合被称为参考类。车险的合适参考类可能是住在同一座城市的司机。如果分析师掌握该个体的更多信息,比如年龄或车型,参考类还可以进一步细化。 对于 AI 带来的生存风险,不存在参考类,因为这是前所未有的事件。需要说明的是,这是程度差异,而非本质差异。从来不存在明确“正确”的参考类,实际选择哪种参考类最终取决于分析师的直觉。 预测的准确度取决于待预测事件的生成过程与参考类事件生成过程之间的相似程度,这可以看作一个光谱。预测掷硬币这类物理系统的结果时,过去经验是非常可靠的依据。接下来是车祸,风险估计会因所用的历史数据集不同而产生比如 20% 的偏差——这对保险公司来说已经足够好了。
再往光谱另一端走,就是地缘政治事件了,这类事件选择参照类的难度更大。预测专家 Philip Tetlock 解释说:“希腊退出欧元区(Grexit)看似独一无二,因为截至 2015 年还没有国家退出过欧元区,但它也可以被归入某个更宽泛的比较类,比如谈判失败;或者归入更窄的类别,比如民族国家退出国际协议;甚至更窄,比如被迫的货币转换。”他还进一步论证:即使是苏联解体、阿拉伯之春这类表面上的黑天鹅事件,也可以找到参照类来建模,归纳推理对这类事件同样有用。
在 Tetlock 的光谱里,这些事件代表独特性的“顶峰”。就地缘政治事件而言,这么说或许没错。但即便是这些事件,其独特性也远不及 AI 导致人类灭绝。只要看看人们为 AI 存亡风险寻找参照类的种种尝试就知道了:动物灭绝(作为人类灭绝的参照类)、历史上的全球性变革如工业革命(作为 AI 带来社会经济变革的参照类)、造成大量死亡的事故(作为引发全球性灾难的事故的参照类)。现实一点吧,这些都没告诉我们任何关于能否开发出超级智能 AI、或者会不会失控的信息——而这才是 AI 存亡风险预测中最核心的不确定性来源。
总而言之,AI 导致人类灭绝是一种与过往任何经历都相去甚远的结果,我们无法用归纳方法去“预测”它的概率。当然,我们可以从过去的技术突破和灾难事件中获得定性认识,但 AI 风险的特殊性足以让定量估计缺乏决策制定所需的合法性依据。
缺乏理论支撑,演绎式概率估计并不可靠
在柯南·道尔的《六座拿破仑半身像》(剧透警告!)中,Sherlock Holmes 在展开蹲守前宣布,抓获嫌疑人的概率恰好是三分之二。这看起来很费解——与人类行为相关的事情,怎么可能被赋予一个数学上如此精确的概率?
原来,Holmes 已经演绎推理出嫌疑人那些看似古怪的行为背后的事件链条:嫌疑人在系统性地寻找一颗宝石,而宝石就藏在伦敦及周边不同人拥有的六座拿破仑半身像之一里面。细节并不重要,关键在于:嫌疑人和侦探都不知道宝石具体在哪一座半身像里,而除此之外,嫌疑人的行为(假定)完全可预测。因此才有了这种可精确量化的不确定性。
重点在于:只要我们有一个可靠的世界模型,就可以通过逻辑演绎来估计风险,即便没有过去的数据可参考。当然,现实世界不像虚构故事那样规整,尤其是当我们想推演到遥远的未来时。
谈到生存风险(x-risk),有一个有趣的例外可以让我们用演绎模型来估计——小行星撞击。归纳和演绎相结合的风险估计之所以能让我们算出这种 x-risk 的概率,是因为这是一个纯物理系统。值得花点时间看看它的工作原理,因为重要的是要认识到,这些方法并不能推广到其他类型的 x-risk。
关键在于能够对建模小行星大小(更准确地说,撞击能量)与撞击频率之间的关系。由于我们已经观测到成千上万次小型撞击,可以据此外推,推断出从未被直接观测到的大型撞击的发生频率。我们还能估算出足以引发全球灾难的阈值。1

而 AI 的未知因素涉及技术进展和治理,而不是某个物理系统,因此并不清楚该如何用数学方法建模。尽管如此,还是有人尝试过。比如,为了预测一个假想 AGI 所需的算力,一些研究假设 AI 系统所需的计算量大约与人脑相当,并进一步对人脑所需的计算量做出假设。这些假设比小行星建模所依据的假设要脆弱得多,而且这些都还没有涉及失控的问题。
主观概率不过是披着数字外衣的感觉
缺乏参照类别和有依据的理论时,预测必然沦为“主观概率”,即基于预测者个人判断的猜测。不出所料,这些猜测之间的差距往往高达几个数量级。
主观概率估计并不能绕开一个问题:概率估算仍需归纳或演绎的基础。它只是让预测者免于解释自己的估算依据而已。解释之所以困难,是因为人类阐释直觉推理的能力有限,无论这种推理是归纳的、演绎的还是两者的结合。本质上,这种做法等于让预测者说:“虽然我没展示推理过程,但看我的过往战绩,你可以信任这个估算”(下一节我们会解释,为什么即使是这套逻辑,在 AI 生存风险的预测中也行不通)。但归根结底,如果没有归纳或演绎的基础,预测者能做的只有编一个数字出来——而各人编出来的数字相差悬殊。

以预测研究研究所(Forecasting Research Institute)于 2022 年底开展的生存风险说服锦标赛(Existential Risk Persuasion Tournament,XPT)为例,我们认为这是迄今为止最精心、执行最到位的一次生存风险预测活动。活动邀请了多组预测者,包括 AI 专家和预测专家(即图中的“超级预测者”)。在 AI 专家群体中,对 2100 年前 AI 灭绝风险估算的高位(75 分位)为 12%,中位数为 3%,低位(25 分位)为 0.25%。而在预测专家群体中,即便高位(75 分位)也只有 1%,中位数仅为 0.38%,低位(25 分位)在图上几乎与零重合。换言之,AI 专家估算的 75 分位与超级预测者估算的 25 分位之间,相差至少 100 倍。
这些估计值全都来自该领域的资深专家,而且他们还参加了长达数月的锦标赛,彼此试图说服对方!如果你觉得这个预测区间还不够离谱,请记住:这整场活动只是某个群体在某个时间点做的一次尝试。如果今天重赛一遍,或者换一种方式表述问题,得出的数字可能就完全不同。
最能说明问题的是预测者给出的理由,报告中有详细记录。他们并没有使用定量模型,尤其是在思考“一旦开发出强大 AI,出现坏结果的条件概率”时。很大程度上,这些预测者所做的推测,和普通人闲聊超级智能 AI 时没什么两样。也许 AI 会通过超人类的说服能力操纵系统管理员,接管关键系统;也许 AI 为了让计算机跑得更快而想降低全球温度,结果误杀了人类;又也许 AI 会去太空抢资源而不是盯上地球,所以我们不必太担心。这类推测本身没什么问题,但我们必须清楚:在 AI 生存风险这件事上,预测者并没有什么特殊的知识、证据或模型,能让他们的直觉比你、比我们、比任何人的直觉都更可信。
超级预测这个词来自 Philip Tetlock 长达 20 年的预测研究(他也是 XPT 的组织者之一)。超级预测者通常接受过提升预测水平的训练,比如整合多元信息、尽量减少心理偏差。这类方法在地缘政治等领域已被证明有效,但只要缺乏可用的证据,再多的训练也换不来好的预测。
即使预测者手上有可靠的定量模型(他们并没有),也还得考虑“未知的未知”——也就是模型本身可能是错的这种情况。知名生存风险哲学家 Nick Bostrom 解释道:“我们对风险的一阶评估本身就存在不确定性和出错的可能,这一点必须纳入我们最终的概率判断。在低概率、高后果的风险中,这一因素往往占主导地位——尤其是那些涉及了解不足的自然现象、复杂的社会动态或新技术,或因其他原因难以评估的风险。”
这是一个合理的观点,AI 生存风险的预测者确实也非常关注风险评估中的不确定性。但这样做有一个后果:遵循这一原则的人,其预测注定只是猜测,而非模型的输出——毕竟,没有任何模型能用来估计模型本身出错的概率,或者模型出错时的风险有多大。
对于独一无二或罕见的事件,预测能力无从衡量
回顾一下,主观的 AI 风险预测相差达几个数量级。但如果我们能衡量预测者的过往战绩,也许就能据此判断该相信谁。与前面两种论证风险估计的方法(归纳法和演绎法)不同,这种方式下预测者不必解释自己的估计,而是用自己过去预测其他事件所展现的能力来证明其可信度。
这种方法在地缘政治事件领域已被证明极具价值,预测社群也在能力衡量上投入了大量精力。评估预测能力的方法有很多,比如校准度、Brier 分数、对数分数,以及预测竞赛网站 Metaculus 所使用的 Peer 分数。
但无论用哪种方法,在生存风险问题上,评估主观概率的预测能力都面临许多障碍:缺乏参照类、基础发生率极低、时间跨度太长。下面逐一来看。
参考类问题不仅困扰预测者,也同样困扰评估者。回到外星人登陆的例子。设想一位预测者在预测选举方面一直非常准确,但他不提供任何证据就宣布外星人将在一年内登陆地球。尽管这位预测者战绩显赫,我们也不会因此更新对外星人登陆的判断,因为这与选举预测差异太大,我们并不认为他的预测能力能够迁移过来。同理,AI 生存风险与过去任何被预测过的事件都相去甚远,因此没有任何证据表明哪位预测者具备评估 AI 生存风险的能力。
即使我们设法绕开了参考类问题,其他问题依然存在——尤其是,灭绝风险属于“尾部风险”,即由极罕见事件引发的风险。假设预测者 A 认为 AI 生存风险的概率是 1%,预测者 B 认为是百万分之一。我们应该更相信谁的预测?可以看看他们过往的战绩。假设发现预测者 A(就是那个给出 1% 概率的人)战绩更好,这仍不意味着应该更相信 A 的预测,因为技能评估对高估尾部风险并不敏感。换句话说,A 的总分更高,可能只是因为 A 在判断发生概率较高的日常事件时比 B 略微校准得更好,但对极罕见的尾部风险(比如概率百万分之一的事件)却高估了好几个数量级。没有任何评分规则能够充分惩罚这种失准。
下面用一个小实验说明原因。假设两位预测者 F 和 G 预测两组不同的事件,两组事件的“真实”概率都均匀分布在 0 到 1 之间。我们非常乐观地假设,F 和 G 都确切知道自己所预测的每个事件 e 的真实概率 P[e]。F 总是直接输出 P[e],而 G 则稍微保守,从不给出低于 1% 的预测值。也就是说,当 P[e] >= 1% 时 G 输出 P[e],否则输出 1%。
按设计,F 本来就是更优秀的预测者。但从历史战绩上看得出这一点吗?换句话说,我们要评估多少条预测,才能有 95% 的把握让 F 的得分超过 G?使用对数评分规则,需要大约一亿次;使用 Brier 评分,则需要大约一万亿次。2 这些假设当然可以商榷,但关键在于:如果一个预测者系统性地高估尾部风险,从实证角度根本无法察觉。
评估预测者预测 x-risk 能力的最后一个障碍是,长期预测需要太长时间才能验证(而灭绝预测根本无法验证)。这个问题或许可以绕开。研究者提出了所谓 reciprocal scoring 的方法——根据预测者对彼此预测的预测准确度给予奖励——并在一些真实场景(如预测 Covid-19 政策的效果)中进行了验证。在这些场景中,reciprocal scoring 的预测效果与传统评分方法相当。这没问题。但 reciprocal scoring 解决不了参考类别问题,也解决不了尾部风险问题。

风险估计可能被系统性夸大的原因还有很多
总结一下:归纳法和演绎法都行不通,主观预测五花八门,而且也没有办法判断哪些预测更可信。
为了得出更可靠的估计,从而可能为政策制定提供参考,一些研究者开始转向预测聚合方法,即把多位预测者的判断合并起来。一个有代表性的工作是 AI Impacts 的 AI 进展调查,但它因存在严重的方法论缺陷而备受批评,其中就包括 无回应偏差(non-response bias)。更重要的是,聚合为什么能提高预测精度本身就不清楚:毕竟,大多数预测者可能带着相同的偏见(而且再强调一次,他们中没有任何人具备做出可靠预测的依据)。
预测者可能系统性高估 AI 存在性风险的原因有很多。3 首先是选择偏差。以 AI 研究者为例:相信 AI 能改变世界,正是许多人投身这个领域的主要动机之一。而一旦进入这个圈子,他就置身于一个不断强化这一信念的环境。再者,如果一个人相信这项技术强大到令人恐惧,那么认为它对世界的影响更可能是负面而非正面,是完全合理的判断。
而在相对封闭的 AI 安全子圈子里,这种回音室效应可能震耳欲聋。宣称自己有很高的 p(doom)(即对 AI 导致毁灭的概率估计),似乎已成了一种表达身份认同和表明立场的方式。
专业预测者身上则存在一种略有不同的选择偏差。预测社区与有效利他主义以及存在性风险议题(尤其是 AI 风险)高度重叠。这并不是说每个预测者都带有偏见,但持有高 p(doom) 的人可能更倾向于投身预测活动,因此整个社区很可能偏向于那些担忧存在性风险的人群。
预测者很擅长根据证据更新自己的判断,但问题在于,与小行星撞击风险这类议题不同,AI 生存风险几乎没有什么证据能让人改变看法,所以我们怀疑预测结果在很大程度上受人们进入这个圈子时既有观念的影响。XPT 报告指出:“在 XPT 期间,几乎没有人改变想法,即使是最活跃的参与者也不例外,尽管说服他人还有金钱激励。”在后续研究中,他们发现许多分歧源于超越 AI 本身的基础世界观差异。
再次强调,我们关于偏差的论述只针对 AI 生存风险。假设有一群选举预测者存在系统性偏差(比如偏向在任者),那么几次选举之后,对照预测和实际结果,这种偏差就会暴露无遗。但对于 AI 生存风险,正如上一节所示,技能评估对高估尾部风险并不敏感。
有趣的是,技能评估对低估尾部风险却极其敏感:如果你给一个确实发生了的罕见事件赋值概率为 0,那么根据对数评分规则,你会受到无穷大的惩罚,无论其他事件预测得多好都无法挽回。这被认为是对数评分的主要优势之一,也是 Metaculus 采用它的原因。
现在考虑一个没有精确估计值的预测者——面对 AI 生存风险这种不确定性维度如此之多的问题,显然没有哪个预测者能给出精确估计。考虑到惩罚的不对称性,理性的做法是取估计区间中偏高一端的数值。4
无论如何,当预测者的估计高度不确定时,他们实际上报告的是什么,这一点并不清楚。也许他们并不对评分函数的激励做出反应。毕竟,长期预测短期内无法揭晓。而且别忘了,在 XPT 的案例中,激励机制实际上是让预测者去预测彼此的预测,以绕开时间跨度太长的问题。互惠评分论文认为这会激励预测者提交真实、下功夫的估计,并对这一说法的各种反驳进行了回应。他们对方法的辩护基于两个关键假设:一是预测者付出更多努力就能更接近真实估计,二是他们没有更好的办法来预测其他预测者的行为。
如果这些假设不成立呢?正如我们在本文中一直论证的,对于 AI 生存风险,我们不应指望证据能改变预测者的先验信念,所以第一个假设值得怀疑。而且如今 XPT 的一轮预测已经结束,那次锦标赛公布的估计中位数就成了一个强大的锚点(博弈论中的“焦点”)。未来,在互惠评分激励下的预测者有可能直接以现有预测中位数为起点,只根据上一轮锦标赛之后出现的新信息做些微调。随着现有估计成为未来估计的锚点,估计的区间可能会不断收窄。绕了这么一大圈,其实想说的是:可供依据的真实证据越少,群体思维的风险就越大。
警惕帕斯卡赌注:效用最大化的危险
顺带一提,以下是 XPT 对 AI 灭绝风险以及未达灭绝程度的灾难性风险给出的估计中位数:

再次强调,我们认为不必把这些数字太当回事。它们更多反映的是不同样本的参与者对 AI 有多焦虑,仅此而已。
和之前一样,预测专家(超级预测者)与 AI 专家给出的估计相差一个数量级以上。如果非要在这些估计中采信一个,那应该是预测专家的,而不是 AI 专家的。过去研究的一个重要发现是:领域专家的表现不如预测专家,后者受过训练,善于整合多方信息、减少心理偏差。不过正如上面所说,即便是他们的预测,也可能是严重高估,我们无法确定。
那问题出在哪?如果政策制定者认为某个时间段内的风险是 1% 而不是 0.01%,又有什么关系?两种情况下风险看起来都很低啊!
这取决于他们拿这些概率去做什么。大多数时候,这些估计只是一种信号,表明某群专家认为风险不容忽视。如果仅此而已,倒也无妨。但考虑到人们对同一组数字的理解天差地别,这种煞费苦心的量化工作对这个信号功能是否真的有帮助,都很难说。
举个例子,联邦贸易委员会主席 Lina Khan 曾表示自己对此持技术乐观态度,因为她的 p(doom) “只有” 15%,这让专家们一头雾水。(顺便说一句,这个数字比我们愿意称之为技术乐观的水平高出约一千倍。)要正确地在决策中理解极小或极大的数字,而不是简单地把它们归入“小到可以忽略”之类的类别,需要大量的量化训练。而大多数人并没有受过这种训练。
简而言之,眼下的情况是:专家们模糊的直觉和恐惧被转化成看似精确的数字,然后政策制定者又把这些数字转化回模糊的直觉和恐惧。不如干脆别玩这套量化把戏了!Center for AI Safety 的 Statement on AI Risk 在这方面就直截了当、值得称道(当然,我们 强烈不同意其观点本身)。 在决策中基于概率做判断的原则化、定量化方法是:通过成本收益分析实现效用最大化。思路很简单:假设某个结果的主观价值(即效用)为 U(可正可负),它发生的概率是 10%,那么我们可以把它当作必然发生、价值为 0.1 * U 来处理。再把每个可选方案的成本和收益加总,选择收益减去成本(即“期望效用”)最大的那个方案。 问题就出在这里。首先,有人可能认为人类灭绝具有难以估量的巨大负价值,因为它剥夺了未来所有可能出生的生命——无论是真实的还是 模拟的。顺着这个逻辑推下去,结论就是:生存风险应该永远是所有人的头等大事!这让人想起 帕斯卡的赌注:即使上帝存在的概率微乎其微,不信仰的代价却是无穷大(在地狱里永受折磨,而非享受永恒的幸福),因此期望效用也是无穷大,所以信仰上帝是理性的。所幸,政策制定者并不太买账这类涉及无穷大的决策框架。但这种思想在 AI safety 社区影响深远,驱使一些人坚信 AI 生存风险应当成为社会的头等要务。 即使只考虑灾难性而非灭绝性风险,涉及的也是数十亿人的生命,哪怕只有 1% 的风险概率,其预期代价也高到足以导致激进的政策结论——各国政府应当把 AI 灭绝风险应对的投入提高几个数量级,并考虑叫停 AI 研发等极端措施。正因如此,理解这些估计背后并没有任何方法论支撑才至关重要。仅凭这么少的证据就做出足以改变世界的政策决策,是极其不明智的。里程碑预测受制于结果模糊性
那预测在 AI 政策中是否还有用武之地?我们认为有——只是不该用来预测灭绝风险。预测 AI 的里程碑,比如在特定能力基准上的表现或经济影响,是更可行也更有意义的。如果某个预测者在判断各类 AI 里程碑何时达成方面已经展现出水平,这确实能作为其未来预测可靠的依据。因为我们讨论的不再是独一无二或极罕见的事件。而且在考虑风险较低的政策干预时——为潜在的经济冲击做准备,而不是抵御杀人机器人——预测的论证也不必让每个理性的人都满意。
预测社区在里程碑预测上投入了大量精力。在 Metaculus 上,「2040 年之前会实现人机智能平等吗?」这一问题基于 1300 多位预测者给出了 96% 的综合预测。这个数字相当惊人!如果我们认同这一预测,就会支持把安全过渡到 AGI 作为全球优先事项的立场。那我们为什么不认同?
答案藏在细节里。AGI 这类模糊概念没有统一的定义;即便固定了定义,判断它是否已经实现也可能很难甚至不可能。要做有效的预测,避免结果模糊至关重要。预测社区的应对办法,是把它定义为相对狭窄的技能指标,比如考试成绩。
Metaculus 的“智能对等”问题是根据数学、物理和计算机科学研究生考试的成绩来定义的。按这个定义,我们认同 96% 的预测结果。但我们认为这个定义已经被稀释得太厉害,对政策制定几乎没有参考意义。先不谈存在性风险——正如我们之前写过的,AI 在考试上的表现构念效度太低,甚至连 AI 会不会取代人类工作者都无法预测。
其他基准测试也好不到哪里去。简而言之,预测 AI 能力的发展时间线之所以困难,正是因为基准测试成绩与现实影响之间存在巨大鸿沟。幸运的是,能够反映重要现实任务的更好的基准测试正在开发中。除了基准测试之外,我们还需要自然情境下的评估,即便成本更高。其中一种方式是衡量人们在 AI 辅助下工作方式的实际变化。直接预测经济、社会或政治层面的影响——比如劳动力市场的转型,或军队在 AI 上的支出——可能更有价值,尽管这类指标更难明确定义和测量。
结语
避免概率在政策中被误用,责任在于政策制定者。我们并不是呼吁预测者停止发布预测,好“保护”政策制定者不被误导。不过我们认为,预测应当附带清晰的说明,包括采用的预测流程和依据的证据。这样政策制定者才能自行判断,给出的论证是否达到了他们认可的门槛。XPT 就是透明度方面的一个好例子,这篇论文也是如此(虽然它讨论的并非存在性风险)。相反,仅仅调查一批研究者然后给出汇总数字,只会传递误导性信息,政策制定者应当无视这类做法。
那么,政府应该如何看待 AI 存在性风险呢?我们的观点并不是说政府应该无所作为,而是应该拒绝那些看似合理、实则建立在对 x-risk 危急而严重这一判断之上的政策,尤其是限制 AI 发展的政策。正如我们将在本系列后续文章中论述的那样,这类政策不仅没有必要,反而很可能加剧 x-risk。相反,政府应当采取这样一些政策:它们与对 AI 风险的多种可能估计都兼容,即使风险微乎其微也总体有益。幸运的是,这样的政策是存在的。此外,政府还应改革政策制定的流程,使之更能响应新出现的证据。具体内容我们很快会展开。延伸阅读
XPT 报告的标题是 Forecasting Existential Risks: Evidence from a Long-Run Forecasting Tournament。
Tetlock 和 Gardner 的著作 Superforecasting(《超预测》)总结了 Tetlock、Barbara Mellers 等人的研究。
Scott Alexander 反驳了"给唯一性事件赋予概率在原则上就有问题"这一说法(我们大体赞同他的观点)。不过,我们的论证与他在文中反驳的立场有两点关键区别:我们讨论的不是一般意义上的预测,而只是它在政策制定中的应用;而且我们并不反对这种做法本身。我们的论证是经验性的:AI x-risk 预测极其不可靠,缺乏依据。理论上,这种情况未来可能改变,尽管我们不抱太大希望。
-
