← 文章 / 科技资讯
AI Snake Oil 12小时前 · 2026-11-22 08:25:21 · 6 阅读

AI 应对策略中的缺失象限

AI 应对策略中缺失的象限

宣布成立 STABL:社会转型与 AI 瓶颈实验室

Sayash Kapoor、Rishi Bommasani 和 Arvind Narayanan 发布于 2026 年 11 月 10 日 1442329Share

我们正在成立一家非营利研究机构:STABL。

适应先进 AI 需要制度层面的剧烈变革以及强大的社会韧性。同时,这也需要关于 AI 进展及其影响的证据——包括递归自我改进(RSI)的前景、AI 的普及速度,以及制约 AI 能力转化为社会成果的瓶颈。

我们的世界观由以下四个论点定义:

  • 我们认为先进 AI 是一种具有广泛社会效益潜力的变革性通用技术。

  • 但我们意识到,社会转型的速度主要受制于人类和组织变革的速度,而非能力本身的进步。

  • 我们的制度——即我们组织知识、工作和治理的既定方式——在这个动荡时期是重要的稳定来源,但也需要严肃的改革,以继续发挥其作用。

  • 我们主张用广泛的防御组合来管理 AI 风险,对齐只是其中一环。而韧性(Resilience)——目前最被忽视的一环——必须成为核心。

另一种阐述我们世界观的方式,是把它放进一张 2x2 的象限图。纵轴表示认真对待 AI 的变革潜力,横轴表示认真对待 AI 产生影响的下游瓶颈。左上角是技术决定论:认为超级智能将凭借自身力量冲垮一切下游瓶颈,单方面重塑社会。不少 AI 公司的 CEO 都表达过这种观点,比如预测一个世纪的进步将在未来几年内被压缩完成。

这种观点往往忽视组织、监管和社会层面的瓶颈;在他们看来,这些问题无关紧要,因为超级智能无所不能。出人意料的是,AI 行业一些最尖锐的批评者其实也持同样的世界观——他们把减缓 AI 能力的提升当作保护社会的主要手段。

与之相反的观点位于图表右下角:把现有的组织、流程、职业和治理结构视为不可动摇的前提,坚持让技术去适配它们。持这种观点的人通常致力于限制 AI 的应用范围、保护现有结构免受冲击。他们擅长识别和利用那些能削弱 AI 影响力的瓶颈,比如监管、行业规范、组织惯性和政治阻力。

减缓变革的速度可以为塑造技术影响争取宝贵时间。但一旦维持现状本身变成了目标,它反而会阻碍技术驱动的社会进步。(例如,尽管自动驾驶汽车比人类更安全,却仍遭抵触;又如,尽管 AI 能提供法律咨询,却常被明令禁止。

STABL 属于右上角象限。我们认真看待前沿 AI 作为一项变革性技术,同时认为制度——无论是新兴的还是既有的——在帮助社会平稳过渡方面都至关重要。

举个例子,我们该如何理解并改善 AI 在医疗领域的影响?许多技术决定论者声称,超智能将迅速治愈几乎所有疾病。持相反观点的人可能会回应说,瓶颈并不在于 AI 或许能加速的药物研发,而在于临床试验——由于监管和安全风险,它们往往耗时数年。

这种回应确实指出了 AI 影响路径上的瓶颈。但这常常被视为讨论的终点。在我们看来,理解这些瓶颈仅仅是分析的起点。下一个问题在于,我们能否让药物测试变得更快速、更高效,从而真正兑现 AI 的效益。例如,计算机模拟测试(in-silico testing)的障碍是什么?我们该如何重新思考监管制度和流程?遗憾的是,两极观点都未对这些问题给予足够关注。

需要说明的是,STABL 并非右上角象限中唯一的组织;我们的许多工作建立在其他同样严肃对待 AI 潜力及其下游瓶颈的组织与思想家基础上。但与其他象限相比,这个象限的思考相对匮乏,这导致了对技术或瓶颈抱持不同严肃态度的社区之间产生了对立。我们的最终目标是为该象限贡献丰富的智识议程,为新组织创造空间,并与该象限及其他象限的既有组织展开合作。

订阅 STABL 通讯以关注我们的工作:

订阅 STABL 通讯

我们的研究议程

右上象限为我们指出了许多值得探索的研究方向。一方面,我们预计 AI 能力会持续快速提升,这促使我们开展关于进步速度和递归自我改进(RSI)的实证研究。我们预计能力强大的 AI 模型仍将广泛可得,这促使我们分析和倡导超越模型对齐与防扩散的风险缓解措施。

另一方面,我们认为,在先进 AI 广泛普及的转型过程中,各类机构发挥着重要的引导作用。因此我们希望理解先进 AI 被采纳后带来的下游影响。我们计划衡量具体的收益与危害,研究其对劳动力市场乃至更广泛领域的冲击,并提出增强社会韧性、重振机构的方法。

这些兴趣汇聚成四个核心研究方向,下文将逐一展开。虽然其他组织也在研究类似问题,但基于我们对 AI 进展的世界观和预判,我们提出问题和解答问题的方式会有所不同,研究结论也因此而不同。

1. 如何衡量递归自我改进的进展?

许多关于 AI 爆发式进步的预测都建立在递归自我改进(RSI)之上:即 AI 自动化 AI 研究本身。我们之所以认真对待 RSI,正是因为我们的进步模型与大多数 RSI 预测所依据的模型有所不同,我们也希望通过实证检验关于 RSI 的种种论断,尽早预警 AI 的潜在影响。但该如何衡量 RSI 的进展呢?

大多数 RSI 评估测的是 AI 完成易于验证任务的能力,在这方面 AI 系统确实进步迅速。但我们认为,AI 在可验证任务和开放式任务之间的表现差距正越拉越大。

我们计划通过 CRUX 频繁开展开放式评估,探测 AI 在长周期、高混乱度任务上的能力上限,包括 AI agent 能否开展开放式 AI 研究。首批结果表明它们还做不到:专家评审明确地否决了前沿 agent 撰写的论文。我们计划随着模型和 scaffold 的改进,定期重复这些评估。

更广泛地看,关于递归自我改进(RSI)的讨论大多停留在左上象限的观点中。那些最担忧超级智能涌现的人,确实最早意识到必须仔细研究 RSI。然而,进入该领域的群体和组织在自我选择过程中产生了同质化,导致思想多样性不足。当现有文献都依赖相同的(且颇具争议的)关于 AI 进展的假设时,其结论也就极易陷入同样的误区。

建立一个包含不同先验假设(尤其是关于 AI 进展认知)的多元化研究者与组织生态系统,有助于检验这些假设是否成立,例如通过:

  • 比较 AI 进展的不同因果模型。 不应预设单一模型再据此预测世界,而应让不同的因果模型相互对比。例如,在可验证任务上的表现提升,是否必然直接转化为现实世界中的绩效改进?

  • 研究数据瓶颈如何塑造递归改进。 在易于收集高质量数据的任务上取得的 AI 进展,能否迁移到数据难以获取的任务上?理解改进何时能跨领域迁移,有助于区分“RSI 将带来全面超级智能”这一假说,与“现实世界数据匮乏限制了某些领域的进展”等其他观点。

  • 拆解 AI 进展的不同维度。 大多数基准测试依赖自动化验证,这也使其更适用于强化学习训练。超越自动化基准测试,有助于我们理解 AI 在不可验证任务上的进展。这种维度的拆解,将帮助我们识别哪些方面的 AI 进展具备递归改进的条件,而哪些方面不具备。

随着 RSI 式动态对理解 AI 进步的重要性日益凸显,我们希望看到一个活跃的学术生态:研究人员和组织认真评估 RSI,同时不必把它的默认结局预设为超级智能。

2. 社会该如何防御先进 AI 带来的风险?

AI 安全过去主要围绕模型本身展开,对齐(alignment)一直是该领域的技术性大挑战。面对对齐可能被解除的开放模型,安全社区的应对策略是推动防扩散政策。但随着时间推移,人们逐渐意识到:先进 AI 终将广泛可得,潜在滥用者也不例外。因此,我们对 AI 风险的应对手段,需要超越对齐和防扩散。

AI 安全还需要另外三种应对方式。第一,投资于控制、监控和保障 AI 系统安全的能力,即使系统未对齐,也能防止其做出意外行为。第二,加强下游防御,比如提升关键基础设施的网络安全水平,保护 AI 危害真正落地时的攻击面。第三,提升社会韧性,以便防御失守时把伤害降到最低。

我们认为韧性是最被忽视的一条路径。AI 社区在口头上虽然强调过韧性,但实践中重点始终是对齐和防扩散。我们经常听到这样的反应:韧性听起来不错,但没人知道具体该怎么做。提出一份可落地的韧性议程,将是 STABL 的目标之一。我们的假设是,要真正有效,韧性必须具备以下特性:

应对 AI 的缺失象限 - 领域针对性: 我们无法以通用方式解决韧性问题。必须理解并提升特定行业面对特定威胁时的韧性。例如,保护某州医院系统免受网络攻击的成本几何?哪些行动者最有能力部署此类防御?大规模实施网络防御最可行的行动方案是什么? - 高野心目标: 认真尝试提升韧性(如疫情准备和大规模网络防御)所需投资,远超当前投入。我们将提出可扩展、目标宏大的应对方案,以匹配威胁的严重程度。 - 最坏情况规划: 尽管人们广泛担忧灾难性 AI 风险,但针对具体 AI 灾难场景(直至文明崩溃)的响应与恢复计划研究极少。提升韧性要求直面潜在 AI 灾难,并制定应对预案。 ### 3. 如何引导先进 AI 的经济影响? 尽管客户、员工和企业已广泛采用先进 AI,但我们仍缺乏对其收益或成本的清晰核算。虽然职场采用证据充分,但该投资的回报尚未转化为广泛的生产力提升。同时,尽管许多人担忧迫在眉睫的大规模失业,美国及其他国家的总体失业率基本保持稳定。 这些趋势与我们观点一致:主导经济转型的瓶颈主要超出提升 AI 能力的范畴,无法直接通过 AI 能力评估来理解。因此,要更好地理解 AI 的影响,必须专门研究这些瓶颈本身。另一方面,我们认为 AI 引发的转型可能因传统经济指标的视角而被遮蔽。

这些想法推动了我们在以下方向的工作:引导 AI 走向增强(augmentation),打造能改善 AI 与劳动者关系的原型,以及研究 AI 如何影响工作的本质,而不只是就业数据这类总体指标。我们预计这一领域的很多工作将与日益增多的关注先进 AI 经济影响的组织合作开展。以下是我们感兴趣的几个方向:

  • 开发和采用 AI 的企业,主流做法是用相对便宜的 AI 替代昂贵的人力劳动来实现自动化。我们预计这一路径会带来一些进展,就像农业自动化曾推动增长一样。但没有结构性变革的自动化,收益是有限的。我们希望把焦点从扩张今天的经济,转向发现能带来更广泛繁荣的新想法、新产品和新产业。具体来说,我们想引导 AI 的开发与部署更侧重于增强,因为我们认为这在经济上更有前景。

  • 增强也尊重人的贡献和自主性,而自动化优先考虑的是企业最大化生产力的目标。为了更直接地回应劳动者的诉求,我们将构建原型工具,帮助劳动者更好地应对不断演进的 AI 能力,并找到能提升工作满意度的 AI 使用方式。

  • 生产率、就业统计等成熟的经济指标,是理解并应对高级 AI 引发的经济冲击的关键输入。但过度依赖这些指标,反而会遮蔽一些重要后果。即便编程智能体并未显著改变 软件工程师 的总量,这一职业本身已截然不同。本科生关于“该学什么、毕业能找什么工作”的焦虑,同样值得重视。

  • 最后,我们预计 AI 在 工作场所之外 的个人使用——例如向 AI 咨询税务建议——也将带来显著的经济影响。这可能一方面为消费者创造剩余价值,另一方面降低对劳动力的需求。

4. 具体职业和行业应如何应对 AI?

能力基准测试或 暴露度 指标,都无法判定高级 AI 将如何影响特定岗位、行业与机构,也无法决定它们该如何适应。我们需要在具体语境中审视不同职业与机构。近期,我们已经对 AI 在 科学、法律服务 和 软件工程 领域的冲击进行了深入剖析,并计划继续分析其他知识型工作正在经历转型及其可能的未来。

我们的目标是制定一套原则和政策,既能确保知识工作者和民主机构保持掌控力,又能释放生产力红利——改造工作流程与业务流程、扫除不必要的准入门槛、提升国家治理能力。我们将提出一些方案,在组织形态层面(而不仅仅是个别组织之间)促成既得利益者与 AI 驱动的新玩家之间的健康竞争。同时我们也清楚,制度中的摩擦在很多情况下是有益的。我们希望找到一个平衡点:欢迎有益的改革,同时避免既有结构被彻底颠覆。

STABL 接下来要做什么?

STABL 正围绕四个工作方向积极筹款和招聘。我们很高兴组建了一支由 AI 社会影响领域顶尖专家构成的顾问委员会,成员包括 Erik Brynjolfsson、Michael R. Strain、Audrey Tang、Helen Toner 和 Robb Willer,此外还有一支优秀的研究者和合作者队伍。

正如我们三人以往的工作一样,STABL 将产出四类主要成果。

  • 概念性研究与公开写作。当下关于 AI 的讨论高度两极化。我们希望通过概念性研究厘清分歧所在,再通过实证研究解决分歧。我们已出版过一本获奖著作(AI Snake Oil),在《华尔街日报》和 WIRED 上发表过文章,还运营着一份拥有超过 9 万读者的通讯。

  • 实证研究。 我们致力于收集有关 AI 进展及其社会影响的证据。我们通过 CRUX 项目开展的开放式评估,率先在开放式的 AI 研究任务上评估了 AI 的进展。我们的Agent 基准测试已被主要 AI 公司采用,基础模型透明度指数则确立了 AI 公司负责任披露的标准。我们的研究成果曾被《纽约时报》、《金融时报》、《大西洋月刊》及其他媒体广泛报道。

  • 证据综合。 我们计划跨领域综合评估 AI 的影响。我们关于开放权重基础模型的研究为理解其社会影响奠定了基础,此外我们还分析了 AI 对科学、法律和软件工程的影响。

  • 政策建议。 我们提供独立的专业见解以支持 AI 政策制定。我们的工作直接影响了美国及欧盟在透明度、第三方评估和开放性方面的 AI 治理。我们参与了国际 AI 安全报告两版本文本的撰写。同时,我们还帮助定义并推动了基于证据的 AI 政策这一愿景的落地。

如果你想持续关注我们的工作,欢迎订阅我们的newsletter。我们也非常希望了解其他同样位于右上象限的组织。我们相信有不少人和我们的想法一致,缺的只是一套系统性的研究计划、一个支持组织建设和运动发展的生态,以及能让这项工作持续壮大并获得放大的资金支持。我们希望能在构建这一思想事业的过程中尽一份力。

1442329分享
原始来源: AI Snake Oil

评论 (0)