AI 放缓之争搅局 Salesforce Dreamforce 大会

周二的旧金山，会议中心座无虚席。Gwen Stefani 一身紫色格纹装束，高歌其 2002 年单曲“Underneath It All”。但她只是开场热身。演出接近尾声时，她对着格纹麦克风高喊：“Dreamforce，让我们出发！”随后，Salesforce CEO Marc Benioff 走进聚光灯。尽管 Dreamforce 号称全球最大的企业软件大会，现场气氛却更像置身于一座巨型教会——尤其在今年。

Benioff 在布道般的演讲中穿梭于观众席，一辆装有摄像头的遥控轮式推车紧随其后，将他面部的画面投射到会场高处天花板上悬挂的屏幕上。短短几分钟内，他便调出了 Salesforce 的年度营收图表。受 AI 驱动产品需求增长的推动，公司预计 2027 年营收将突破 460 亿美元。观众报以掌声。但笼罩在整个活动上空的是一个沉重的疑问：人工智能是否真的值得我们冒上性命的风险？

在展示炫酷的软件智能体构建仪表板之余，参会者还目睹了硅谷领袖们的一场辩论：AI 行业是应继续高歌猛进，还是政府需要出手放缓 AI 进步，以防技术引发灾难性风险。

上周，AI 研究员 Jacob Coxon 从 Anthropic 辞职，并公开警告称，竞相开发自我改进 AI 系统的公司正在“拿我们的生命赌博”。到周末，其他 Anthropic 员工也开始呼应他的担忧，CEO Dario Amodei 则呼吁全球领导人协助“把控 AI 前沿发展的节奏”。随后，其他 AI 公司的 CEO 也相继支持这一观点，其中包括 Amodei 最大的竞争对手——OpenAI 的 Sam Altman。

不过，并非所有人都认同这一观点。白宫人工智能顾问大卫·萨克斯（David Sacks）在社交媒体上轻描淡写了Amodei的建议及他对AI灾难的担忧，称其不过是“又一次寻求监管俘获的企图”。本周，特朗普总统的态度更为激进，他称关于存在主义AI风险的担忧纯属“骗局”。尽管面临充满挑战的政治环境，国会仍试图抓住这一契机，推进监管AI行业的立法。 在台上，身高6英尺5英寸的Benioff身材 towering 于Anthropic首席执行官之上，在询问Amodei对AI最新进展评估之前，他紧紧握了Amodei的手。虽然这毫无疑问是Benioff的主场，但Anthropic已成为帮助Salesforce迈入AI时代的关键伙伴。 “假设你经营一家汽车公司，而另一家不是你的竞争对手发生了某种安全事故，”Amodei说道，对OpenAI的Hugging Face事件作了暗示。Amodei补充道，“显然，攻击竞争对手极具诱惑力”，但更负责任的做法是“组织行业内其他力量，询问我们能为所有人制定什么标准？” 但Anthropic的首席执行官小心翼翼地指出，为前沿发展踩刹车并不意味着“冻结技术”，当然，他还顺势宣传了Claude与Salesforce的整合。 Amodei刚刚离场，Nvidia首席执行官Jensen Huang登场，并开始淡化Anthropic提出的担忧。Huang认为，AI安全本质上是一个“工程问题”，构建AI的公司完全可以自我监管。 “我们不需要任何新法律，也不需要任何新监管，”Huang对Dreamforce的与会者说，“你可以尽可能快，但如果在任何时候你感觉公司失控或产品不安全，那就暂停一下。”

这个话题对 Dreamforce 来说略显沉重，但换个角度想，这里或许正是讨论它的最佳场合。当各路科技高管在台上推销自家的企业 AI 工具时，我溜出会场，穿过毛绒吉祥物和颇具夏威夷风情的装饰，接听了来自 Sayash Kapoor 的电话——他即将成为 UC Berkeley 的计算机科学教授。

Kapoor 和普林斯顿教授 Arvind Narayanan 合著了《AI Snake Oil》一书，并共同经营一个名为 AI as Normal Technology 的 Substack。他们以戳破 AI 营销泡沫著称，但并不因此否定这项技术的潜力。本周，他们发表了迄今篇幅最长的文章之一，试图厘清“失控事件”——比如 OpenAI 意外让自家的 agent 侵入 Hugging Face 这类事件。

“我们写这篇文章的目的之一，就是打破这种虚假的二分法，在 AI 安全和网络安全之间架起桥梁，”Kapoor 说，“如果你认为 AI 很快就会变得超级智能、能躲开我们设置的任何控制，那对齐自然更重要；反过来，如果你认为 AI 公司一直疏于防范、连最基本的安全措施都不肯做，那自然会认为‘控制’才是我们需要干预的方向。我觉得这两种观点都有几分道理。”

Hugging Face 事件之后，Kapoor 说他惊讶地发现 OpenAI 采取的安全防范措施竟如此之少。他认为，AI 公司必须正视自己“组织成熟度不足”的问题，并接受一个现实：失控事件无法靠安全或对齐领域的某项单点突破来解决。他还补充说，这件事让他确信，政策制定者应当让 AI 实验室为其技术造成的危害承担法律责任。

“Hugging Face 泄露事件对 OpenAI 的后果基本为零，公司大体上可以照常运转，”Kapoor 表示。“如果你想象其他任何行业发生类似级别的事故，都会看到长达数月的内部调查，有人被解雇甚至入狱；OpenAI 则不得不支付数百万美元的罚款。”

Kapoor 并不完全支持 Amodei 关于限制前沿发展速度的提议，但他认同其中部分观点。他认为 AI 实验室需要更好的治理机制，以摆脱“快速行动、打破常规”的心态，并应允许独立评估机构对其 AI 安全与安保实践进行评估。他与 Narayanan 撰文指出，对齐工作确实需要加强，但当前真正的危机更侧重于网络安全。

另一些人则认为，Hugging Face 事件暴露出 AI 实验室正面临真正的对齐危机，这将带来更难解决的问题。近几周，独立研究人员发现了更多案例，显示 OpenAI 的代理集群入侵了第三方服务。AI 安全非营利组织 Nightingale 的 CEO Sydney Von Arx 协助发现了其中两个案例，目标分别是一个德语维基和软件服务平台 RubyGems。

“这些事件清楚地表明，当前许多 AI 存在严重的对齐偏差，”Von Arx 告诉 WIRED。“是的，公司需要能够控制其模型，确保即使模型存在对齐偏差也无法发起网络攻击。但更根本的是，我们不应该构建那些自主尝试突破限制并发动网络攻击的强大 AI。”

采访结束后，我飞快跑下楼，想赶上 Benioff 与 Altman 的炉边谈话。OpenAI CEO 告诉观众，世界对 AI 公司的恐惧是合理的。但对话结尾时，Altman 表示，他相信 OpenAI 在成立的第二个十年能够打造更好的产品。

“这就像我们前往诸神那里取火，世界刚刚发生了一件疯狂的事，”Altman 说，指的是 AI 技术。他希望 OpenAI 能够“找到一种最有益的方式来向人们传递这一价值，想办法让地球上的每一个人、每一个企业，都能被这波能力洪流所赋能。”

黄仁勋为 AI 行业自我监管的论点，依赖于 AI 公司不仅懂得何时该暂停，还具备真正执行暂停所需的自律。但这是否属实尚不明确。就在这些 CEO 警告全球 AI 实验室亟需放缓脚步的几天后，他们又出现在最大的一场企业软件会议上，推销最新产品。虽然他们也谈到了 AI 的灾难风险，但此行的主要目的，还是确保资金持续流入。