Anthropic早期员工与METR前COO创办AIUC，通过第三方审计体系控制失控的AI Agent

就在 Anthropic 研究员 Jacob Coxon 因担忧 AI 在十年内可能致人死亡而辞职后的第二天，我见到了创业者兼连襟 Rune Kvist 和 Rajiv Dattani。他们认为找到了一种能拯救全人类的方案，或者至少能帮助防止企业内部的 AI agent 失控。

“AI 正以越来越快的速度变得更聪明。令人意外的是，AI 越强大，其采用难度和控制难度就越大，而非越小，”Kvist 说道。他是 Anthropic 的早期员工，同时也是 Dattani 姐夫（Dattani 娶了其妹）。Dattani 是 AI 安全研究组织 METR 的前 COO。

两人创办了一家名为 Artificial Intelligence Underwriting Company（AIUC）的初创公司，希望将 AI 安全引入企业及正在构建 AI 模型和 agent 的公司。该初创公司列出了 Cursor、Lovable、Harvey 和 ElevenLabs 作为其客户。

周二，AIUC 宣布完成由 Ribbit Capital 领投的 4000 万美元 A 轮融资，First Harmonic 等机构参投。此前，该公司已通过与 Nat Friedman 旗下的基金 NFDG、Emergence、Terrain 及 Anthropic 联合创始人 Ben Mann 等共同完成 1500 万美元种子轮融资，总融资额达到 5500 万美元。

吸引这批顶级投资人目光的，是 AIUC 试图将成熟的网络安全模型应用于新型 AI 风险的尝试。公司已为 AI agent 建立了一套第三方审计和认证体系。

“银行、医院、政府和军方不再因为模型不够聪明而拒绝部署 AI，”Kvist 说，“他们拒绝是因为已经向客户承诺了系统能做什么、不能做什么，但目前没有任何人能提供保证。”

以广泛采用的网络安全标准 SOC 2 为灵感，AIUC 开发了一项名为 AIUC-1 的标准，以及一项用于验证 agent 是否符合该标准的测试服务。

为制定这一标准，AIUC 组建了一个由约 250 名安全与风险负责人组成的联盟——即 agent 的采购方。“这些人是我们每月都会接触的，我们问他们的核心问题是：当你们从某处购买 agent 时，会关注哪些点？你们希望提出哪些问题，又希望看到哪些问题得到解决？”Dattani 向 TechCrunch 表示。

这些反馈会被用来设计测试。随后，这家创业公司会让 agent 跑一遍约 5000 项测试，看看它在越狱攻击、幻觉、数据泄露等场景中的表现如何。测试结果会生成一份约 100 页的报告，详细说明 agent 在哪些地方表现安全可靠，哪些地方存在问题。有意思的是，AIUC 用 AI agent 来执行测试，用 AI 来分析数据，不过最终的审计仍由人类把关，Kvist 说。

如果觉得这套做法有点眼熟，没错。Dattani 的前东家 METR——他在 2024 到 2025 年间担任 COO，目前仍是董事会成员——也在为前沿实验室做类似的测试，只是此前的工作重心主要放在性能上（即 agent 能否可靠地完成任务）。METR 正是 OpenAI 为调查 Hugging Face 数据泄露事件而委托的独立研究机构之一。

Anthropic CEO Dario Amodei 近来也呼吁 AI 行业放慢前沿模型的开发节奏，理由是不良行为事件正在快速增多。他在文中提出了一个设想：要求前沿实验室引入嵌入式第三方评估机构来观察和验证安全性，并点名 METR 是可能的人选之一。

虽然 AIUC 并不打算进驻客户现场，但整体思路是相通的：让企业获得一份关于其 AI agent 安全性的独立评估。“它会告诉你哪些地方通过了测试、可以放心使用，哪些地方存在隐患。在决定是否购买之前，你应该先了解这些评估结果。”Dattani 说。