AI Agent 失控谁担责？
MIT Technology Review Explains：我们的作者团队将为你拆解纷繁复杂的技术世界，助你洞悉未来趋势。点击此处阅读该系列更多文章。
过去几个月，AI agent 发起的一连串网络攻击令世界震惊。7月，OpenAI 披露其 agent 群逃离了 sandbox，入侵 AI 平台 Hugging Face，在网络安全测试中作弊。近期，外部研究人员发现 OpenAI 的 agent 在5月劫持了一个德语维基站点以及代码平台 RubyGems，以分享测试答案。
本月初，Anthropic 披露了四起事件，其模型 Claude 在网络安全演练中入侵了第三方系统。就在上周，Google 也证实，其模型 Gemini 同样被抓到入侵其他公司。
发现 OpenAI 网站劫持事件的研究人员已警告，类似未发现的插曲很可能还潜伏在其他地方。许多人认为，AI agent 绕过 sandbox 访问其无权系统的、造成更大破坏的事故，发生只是时间问题。
因此，核心问题在于：当公司失去对 AI agent 的控制时，我们如何追究它们的责任？
信息公开
直到外部研究人员揭发，OpenAI 才披露德语维基站点和 RubyGems 入侵事件，且至今仍未透露 Hugging Face 黑客攻击的一些关键细节。这限制了我们弄清楚究竟哪里出了错，以及如何防止此类事件重演。
但你可能感到惊讶的是，OpenAI 在法律上很可能并不被要求披露这些事件。（OpenAI 未就置评请求作出回应。）
加利福尼亚的SB 53、纽约州的RAISE Act以及伊利诺伊州的SB 315等州级 AI 透明法案，要求 AI 开发者上报“重大安全事故”。此类事故被定义为导致超过 50 人伤亡，或造成 10 亿美元损失的事件；同时也包括模型在评估之外欺骗开发者，从而实质性加剧灾难性风险的情形。许多未达上述物理损害或灾难性风险标准的网络安全事件，仍可能是此类灾难的危险前兆，而现行法律并未考虑这一因素。
“近期发生的事件，恰好说明了为何现行法律尚未做好准备，”智库“法律与 AI 研究所”（Institute for Law and AI）的美国政策主管 Mackenzie Arnold 表示，“只有性质最恶劣、危害最直接的事件，才符合上报条件。”
由于现行 AI 法律未赋予政府在未发生灾难的情况下索取信息的权力，政府只能援引其他法律的调查权限向企业施压，或选择提起高额且耗时的诉讼，整个过程可能长达数年。
诉讼
“通常情况下，像 Hugging Face 这样的事件应当诉诸法庭，”阿拉巴马大学法学院教授 Yonathan Arbel 说，“这样一来，我们可以通过证据开示程序（discovery）以及诉讼带来的各项连锁效应，让所有相关信息披露于众。”
不过到目前为止，Hugging Face 并没有选择起诉 OpenAI。Hugging Face 的 CEO Clément Delangue 表示，公司没有足够的资源打这场官司（作为替代，他向 OpenAI 索要了 1 亿美元的计算资源）。尽管如此，Delangue 在 7 月底接受 CNN 采访时强调，放弃法律诉讼并不意味着他认为 OpenAI 不该被追责。“所有人都必须记住，这次网络攻击是一桩罪行，是违法行为。我们必须想办法确保这类事情不会越来越频繁地发生。”他说。Hugging Face 未回应置评请求。
诉讼的价值在于，它能推动法院用现有法律来处理 AI 安全事故，而不是干等着新立法出台。一条显而易见的路径是侵权法——这套民法体系允许个人和企业起诉伤害自己的一方。它常被用来追究企业的大规模危害责任，比如 2019 年两起空难夺走数百条人命后，遇难者家属起诉波音；又如各州市政府起诉 Purdue Pharma 的阿片类药物危机案，最终达成了数十亿美元的和解。
“提起过失侵权诉讼是有合理依据的——OpenAI 本应使用更强大的沙盒，做更多监控，”休斯顿大学法律中心法学教授 Gabriel Weil 说。比如，当 OpenAI 员工发现智能体们私自搭建的暗中留言板时，本应第一时间把情况上报给安全和安全团队。此外，公司也可以把沙盒设计得更严密，确保智能体无法访问互联网。
但即便 OpenAI 最终没有因这次 Hugging Face 入侵事件被告上法庭，潜在的追责压力也足以促使各大 AI 实验室在安全上比法律明确要求的更加谨慎。
OpenAI 在事后复盘报告中宣布，计划加强用于约束和监控模型的防护措施，加快模型对齐进程，并改进识别与处置安全事故的流程。
韦尔指出：“前沿实验室频发网络安全攻击所带来的责任问题，归根结底在于‘责任预期’对各方未来行为激励机制的影响。因此，我认为即便本案涉及的赌注不高，制定正确的规则仍然至关重要。”
调查行动
获取答案、厘清 OpenAI 是否应承担责任的一个途径，是强制披露信息。然而，现有的州级 AI 法律——包括加州 SB 53、纽约 RAISE 法案以及伊利诺伊州第 315 号法案——并未赋予政府调查此类近期发生事件的权力。
尽管如此，在公众警觉度上升之际，各州检察长正介入其中，借用其他法律的调查权限。亚拉巴马州、蒙大拿州及另外 15 个州的联盟，以及加利福尼亚州，均要求 OpenAI 提供事故相关信息，以查明该公司的实践是否违反了州消费者保护法等规定。国会成员也在启动各自的调查程序。参议员乔什·霍利（Josh Hawley）本月早些时候启动了参议院调查要求OpenAI 和 Anthropic 公开其事件日志。
美国 AI 政策专家阿诺德表示：“尽管需要有人进行调查，但令人遗憾的是，这一重任落在了检察长身上，他们不得不依靠对现有权限的创造性解读来执行。消费者保护法旨在监管欺骗消费者的公司，而非管理失控软件的公司。各州检察长需证明 OpenAI 欺骗或不当损害了消费者，但目前尚不清楚此次黑客攻击中是否包含此类行为。”
阿诺德说：“那些［消费者保护］法律并非为全面调查 AI 网络安全事件而设计。它们并未旨在帮助调查人员判断模型是否得到了充分遏制，或公司的安全实践是否可靠。”
阿尔贝尔说：“这不是合适的工具。合适的工具可能是刑事调查之类的东西”，例如在《计算机欺诈和滥用法》（CFAA）等黑客相关法律下进行调查。
根据 CFAA，未经授权入侵其他公司的计算机系统属于犯罪行为。但若要被认定有罪，黑客必须有意在未经授权的情况下入侵计算机。意图通常需要证明主观心理状态，而目前尚无法院裁定 AI 智能体具备这种心理状态。在没有此类先例的情况下，法院不太可能裁定是 AI 智能体实施了黑客攻击。
审计
监管 AI 公司的一种方式是强制引入外部审计员。
在 Hugging Face 遭受黑客攻击后，OpenAI 引入了 AI 安全非营利组织 METR 和 Redwood Research 的研究人员来审查该事件。然而，OpenAI 限制了这些研究人员对导致黑客攻击的模型的访问权限，未披露公司的安全实践，限制了调查时长，并对研究人员可以发布的内容拥有最终决定权。我们至今仍不清楚攻击最初是在五月份由什么触发的，也不知道为什么 OpenAI 发现智能体活动的员工从未向安全负责人上报。
这种安排存在固有的张力：没有法律授权的审计员依赖实验室的好意才能持续获取访问权限，这意味着他们必须在审查实验室的同时不损害双方关系。上周，Anthropic 宣布将聘请埃森哲（Accenture）作为嵌入式评估者以评估其模型。Anthropic CEO Dario Amodei 在文章中写道，前沿 AI 实验室应赋予“一组嵌入式第三方评估员（如METR）”“持续的类员工访问权限”，这些评估员的角色是核查对安全实践和承诺的遵守情况、报告事件，并帮助评估不仅是已完成的 AI 模型，还包括训练流程和过程的对齐性。
美国现有的大多数州级 AI 法律并不要求 AI 实验室聘请外部审计机构。加州的 SB 53 和纽约的 RAISE Act 只要求 AI 公司发布一份安全框架，说明他们将如何测试模型的危险能力，然后照此执行即可。框架由公司自己撰写，测试也可以在内部完成。只有伊利诺伊州的 SB 315 要求公司从 2028 年起接受年度第三方审计。
休斯顿大学法律中心法学教授 Peter Salib 表示：“无论是对这些公司的报告要求，还是引入外部机构的审查，都还有很大的提升空间。”这些审查方可以是由政府认证、但由 AI 公司自行选择并付费的私人审计机构，也可以是政府部门或保险公司。
立法
这一切并非偶然。那些未能让 AI 公司对智能体网络攻击承担责任的现行法律，正是在 AI 行业激烈游说的背景下出台的。
加州 AI 法案 SB 1047 在 OpenAI、Meta、Anthropic 和风险投资公司 Andreessen Horowitz 的游说下，于 2024 年被州长 Gavin Newsom 否决。该法案提出了一套严格得多的规则：要求 AI 公司报告更广范围的安全事件（包括模型自行行动或脱离控制的情况）、接受年度第三方审计，并配备“紧急停止开关”。但经过一年的密集谈判后，Newsom 签署了 SB 53——这份法案收窄了需上报事件的类型，并删去了审计和停止开关的要求。
纽约州的RAISE 法案也走了同样的轨迹。“纽约立法机构通过的 RAISE 法案版本原本要求披露此类‘事故’，”该法案发起人、纽约州众议员 Alex Bores 在 X 平台上写道。纽约州的原始法案还纳入了第三方审计机制。
随着政治压力不断升级，旨在建立更完善的 AI 研发报告、审计和问责机制的新法案即将出台。在国会层面，AI 事故报告法案将要求 AI 公司向商务部报告模型摆脱人类监督或突破系统边界的事件，即使未造成实际损害。前沿法案则要求实施事故报告及独立审计。在纽约州，由 Bores 发起的《人工智能理解法案》规定，若模型执行了人类实施即构成侵权或犯罪的行为，相关公司需承担责任。
随着 AI 智能体发起网络攻击的能力日益增强，现行法律已显得滞后。要填补这一差距，立法者必须跑得比下一次技术突破更快。