AI 会杀死全人类吗？编辑为你解答
本周三，《MIT Technology Review》为订阅者举办了一场线上圆桌活动，讨论眼下所有人都在追问的问题：AI 真的会毁灭人类吗？
但短短 30 分钟的活动根本不够回答大家的疑问。于是我们请资深 AI 编辑 Will Douglas Heaven 和 AI 记者 Grace Huckins 挑选出一些听众提出的高质量问题，尽力给出解答。
感谢所有提问的读者！
我会因此死掉吗？
会，但那是迟早的事。遗憾的是，我的预测能力还不足以告诉你具体怎么死。不过确实有可能死于 AI：搭载 AI 的无人机已经在乌克兰夺走过人命，AI 发动的针对医院的网络攻击也迟早会造成伤亡。
那 AI 会不会更进一步，把全人类都干掉？可能性不大。但一些人——想法奇特，却对 AI 无可否认地有深刻理解——多年来一直在警告这种结局可能出现。虽然我还没有囤罐头食品，也没有想着去讨好哪个拥有地下掩体的亿万富翁，但我注意到，过去几年里，末日论者关于 AI 能力与对齐问题的预测，准确得让人不安。这当然不意味着他们那些更恐怖的预言都会成真，但足以让我认真警惕了。
— Grace Huckins
你会不会死于 AI？我认为存在非零的概率。假如你足够倒霉，成了某个离奇的近期事件或事故的受害者——比如一群 AI agent 对关键基础设施发起网络攻击。遗憾的是，这类情景如今已不再像从前那样显得天方夜谭。又或者是一种 AI 设计的新型病原体席卷人群，或者世界经济崩溃引发冲突与饥荒。这两种情况都说得通，但我认为可能性更小。
那我们所有人都会死于 AI 吗？不会。除了末日科幻小说，任何现实情境下 AI 都不可能杀死全人类。你可以编出无数吓人的故事，但它们都不符合这项技术当下的能力和发展方向。
也有人辩称，即使预案再离奇，未雨绸缪总没有坏处。或许吧，但我认为这种灾难化想象反而会让人忽视或宽恕现有技术及背后的科技公司所存在的许多紧迫问题。
— 威尔·道格拉斯·海文
为什么 AI 会置我们于死地？
人类可能会下令让它这么做，而它也许会服从。这也是研究人员格外担忧 AI 生物能力的原因之一——设想一下，如果 1995 年东京地铁沙林毒气袭击事件的幕后黑手奥姆真理教，手里拥有一个能设计出比埃博拉更致命、比麻疹更具传染性的病原体工具，他们会干什么。我们中那些不想死的人必须研究如何防御所有可行的生物武器，而潜在的敌人只需制造出一种有效病原体就足够了。
还有一种听起来更离奇的可能是：AI 自己决定要杀害我们。市面上流传着各种关于这种情形如何发生的故事，但最常见的说法是：未来的 AI 系统未必憎恨人类，人类只是它们与我们设定的目标之间的障碍。
OpenAI 驱动 Hugging Face 黑客事件的 Agent 为了在测试中拿高分而破坏了其他网站的基建，同理，未来的高维 AI 可能会为了追求我们下达的某个目标，而消灭我们以防被关机。
— 格蕾丝·哈金斯
如何最好地确保对齐，避免最坏情况发生？谁在这方面做得最好？
对齐（Alignment）是一个庞大的研究领域。简而言之，它意味着构建能够按我们期望行事、而非违背我们意愿的模型。在授予 AI 更多自主权之前，我们需要建立更高的信任度，而对齐研究正是为了建立这种信任，但难度极大。
LLM 的构建方式不同于传统软件，无法通过硬编码来规定“应该做”或“禁止做”。相反，对齐行为需要在模型训练时注入。一种方法是奖励模型完成期望的操作（有点像带幼儿）。另一种方法则是给 LLM 一份需要遵守的书面规则清单（类似于宪法）。
Anthropic 和 OpenAI 都是这一领域的领军者，但双方都尚未开发出完全对齐（aligned）的模型。一个主要问题是，LLM 的表现远比人类不一致且难以预测。它们可能在某种情况下表现良好，却在看似极其相似的另一情境中行为迥异。模型还可能受到意料之外的约束影响。例如，面对不可能完成的任务（正如参与 Hugging Face 攻击的多个智能体所经历的那样），模型可能会不择手段地去达成目标。正如上文 Grace 所言，这可能成为一个严重隐患。
顶级 AI 公司如今呼吁放缓发展的主要原因，是希望集中精力攻克对齐问题。对齐并非遥不可及的梦想，但目前仍不确定完全对齐最终是否可行。
— Will Douglas Heaven
AI 真的危险吗，还是科技公司在制造公关噱头？
每当科技公司准备 IPO 时，这种质疑都合乎情理——CEO 们显然有动机夸大产品的前沿性和变革性。但我不确定这是否适用于当下。告诉公众一款本就备受争议的产品可能会夺去他们及所爱之人的性命，对企业的形象管理而言简直是灾难。
关于 CEO 的动机，也有其他解读：他们或许想通过塑造负责任的科技创新守护者形象，来平息公众对数据中心的狂热担忧；又或许只是想争取时间整顿内部，避免下一次公关危机。
但还有一个更简单的解释。认为 AI 可能导致人类灭绝的想法在旧金山早已司空见惯，这些高管深受这种氛围的影响，他们的许多员工也是如此。7 月，许多员工联署公开信，敦促公司推动实现 AI 发展放缓。
— Grace Huckins
部分担忧源于 AI 智能体在无监督下自主行动。阻碍对这些智能体实施更强控制的瓶颈是什么？
这个问题触及了这项技术究竟应该做成什么样的核心。自主性与控制力之间的平衡很难拿捏：一方面，AI agent 的强大之处就在于它能自主执行任务、解决问题，不需要人事事盯着；另一方面，这又要求你相信无人监督的 agent 不会失控乱来。
目前的现状是，各家 AI 实验室还没找到这个平衡点。它们的模型不够可信、缺乏有效监督，也不总能被真正掌控。如何在保证模型还能自主干有用活儿的前提下解决这些问题，是当下最重大的研究难题之一。
— Will Douglas Heaven
现在和近期可以采取哪些措施，确保 AI 得到有效控制、监督和监管？
这正是最关键的问题。不管你是否认为 AI 会毁灭人类，它已经造成实际危害这一点无可否认——比如诱发精神问题、入侵网站等。而要防止或减轻这些危害，难在两个方面。
其一，我们对 AI 的工作原理几乎一无所知，而它的能力还在快速增强。关于如何监测和约束行为失当的 agent，已有不少研究在进行，但现有方法都很脆弱。你可以通过查看它的“思维链”来判断它是否在密谋不当行为，但 OpenAI 最新的 agent 已经不像之前的模型那样展示推理过程了。你也可以用一个 agent 去监督另一个 agent，但这就要求你先信任那个监督者。
另一个障碍就更常见了：AI 公司自我监管存在巨大的利益冲突，而美国政府至今没有介入，尽管国会两党都有支持监管的声音。行政部门目前则态度强硬地反对。但如果风向转变，我个人希望看到强有力的透明度监管法规——这样，下次再有未发布的 frontier 模型发动网络攻击时，我们能了解到更完整的真相。
— Grace Huckins
如果这段对话进入网络舆论场，会不会成为一种自我实现的预言？
这确实是个令人担忧的问题。LLM 的行为会受到其所阅读内容的显著影响。有观点认为，聊天机器人之所以频繁讨论乃至扮演末日场景，是因为它们受过数百万页科幻小说和悲观主义（Doomer）网络论坛的训练。眼下所有正在生成的文本——包括本文在内——反过来也可能塑造未来模型的行为。这极具“元”（Meta）属性。
事实上，METR（一家第三方机构）团队也曾在其关于该事件的报告中提出了相关的担忧。OpenAI 曾聘请 METR 协助剖析 Hugging Face 被黑事件发生前的一系列状况。METR 利用 OpenAI 的新模型 Astra，帮助分析了海量的智能体（Agent）对话记录和行为日志。
但向模型输入所有相关材料也可能带来意想不到的后果。执行分析工作的智能体很可能受到了它们所分析的智能体生成的文本影响，从而产生偏见。如今，已经不存在一张真正“干净的白纸”了。
—— 威尔·道格拉斯·海文（Will Douglas Heaven）
感谢 Eric、Pranab、Rafael、Kenneth、George、Chris、Yoon Jae、James、Carl、Nicole（以及更多提问者）提出的精彩问题。