为超级智能承保：押注可诉讼的 AI Agent 标准
我们聊到：
为什么风险、责任和信任可能成为 AI 推广的真正瓶颈
Rune 从读到 Scaling Laws 论文到加入最早期的 Anthropic 的经历
Anthropic 在很多人意识到之前，就对规模扩展、算力和未来有何理解
为什么 Waymo 体现了 AI 能力与实际部署之间的差距
AIUC 的4000 万美元融资轮，以及与 Cursor、Harvey、Lovable、ElevenLabs 等前沿 AI 公司的合作
AIUC-1：一套针对 AI 智能体安全、可靠性与稳定性的标准
如何检测智能体的越狱、幻觉和数据泄露风险
为什么大多数 AI 公司只优化正常流程，却缺乏对对抗性场景的严重压力测试
为什么 AI 标准可能需要每季度而非每十年更新一次
前沿 AI 实验室与政府之间日益凸显的信任鸿沟
网络安全、儿童安全、生物武器以及不断扩展的前沿模型风险面
为什么标准与保险可能需要共同演进
伦敦劳合社如何为AI 系统提供保险，从而增强企业部署的信任度
如果一个20 美元的 Cursor 订阅导致了一场2 亿美元的飞机坠毁事故，会发生什么
Air Canada 聊天机器件，以及 AI 故障如何开始厘清法律责任
为什么版权可能是最难通过保险覆盖的 AI 风险之一
评估、机制可解释性、监控，以及模型开始意识到自己正在被测试的现象
CISO 面临的两难指令：快速采用 AI，但绝不能出任何差错
为什么机器人技术将使其 AI 责任变得更具颠覆性
AI 工程师是否应持有一级、二级和三级认证
AIUC 在智能体、前沿模型、机器人技术和通用红队测试方面的路线图
为什么 AGI 可能成为关乎国家主权的问题
为什么实验室永远无法完全充当自己的监督者
《大空头》式的问题：如何防止相互竞争的监督机构竞相降低标准？
Rune Kvist
AIUC
时间戳
00:00:00 AIUC 的 4000 万美元融资以及 AI 的风险瓶颈
00:01:07 从 Scaling Laws 到早期 Anthropic
00:07:58 信任而非能力可能限制 AI 采用
00:12:19 创立 AIUC 与构建 AIUC-1
00:18:52 AI 智能体如何接受审计与压力测试
00:25:26 前沿模型、政府与 AI 信任鸿沟
00:33:32 网络安全、儿童安全及 AI 赋能的生物风险
00:38:14 标准与保险为何应结合
00:41:45 AI 保险实际覆盖什么？
00:50:44 20 美元的 Cursor 订阅与 2 亿美元的空难
00:53:53 AI 责任、监控与赢得企业信任
00:56:21 从 AI 智能体到模型再到机器人
00:58:29 版权、逆向选择与 AI 保险
01:03:28 评估（Evals）、机制可解释性与评估意识
01:08:36 不可能的企业 AI 指令
01:11:52 预测市场与 AI 审计
01:14:43 AI 工程师需要认证吗？
01:19:10 AIUC 路线图、AGI 与谁来监管监管者？
文字记录
引言：AIUC、4000 万美元 A 轮与风险作为采用瓶颈
Swyx [00:00:00]: 好的，我们在演播室迎来了来自 AIUC（人工智能承保公司）的 Rune，还有我们可靠的共同主持人 Vibhu。欢迎。
Rune Kvist [00:00:10]: 谢谢。感谢邀请。
Swyx [00:00:11]: 你们今天宣布了什么？
Rune Kvist [00:00:12]: 我们完成了 4000 万美元融资，由 Ribbit Capital 和 First Harmonic 领投。
Swyx [00:00:17]: 我第一次注意到你们，是因为 Nat 和 Daniel 投资了你们。故事和当时差不多吗？现在的你们和当初设想的有什么变化？
Rune Kvist [00:00:26]: 我们融种子轮的时候有个判断：风险问题迟早会拖慢 AI 的落地速度。当时这还只是一种假设，但现在不是了。Mythos 和 Fable 的事件表明，制约落地的瓶颈就是风险。所以对我们来说，这是同一判断的自然延续——只不过以前是推测，现在成了事实。
Swyx [00:00:54]: 那就说说你们 A 轮里重点提到的客户吧。
Rune Kvist [00:00:58]: 没问题。我们现在和 Cursor、Harvey、Lovable、ElevenLabs 这些公司都有合作。
Swyx [00:01:05]: 很厉害，恭喜。
Rune Kvist [00:01:06]: 谢谢。
Swyx [00:01:07]: 你是最早负责 GTM 和产品的员工之一，挺有名的。我很好奇：你是怎么进入 AI 这个领域的？简单回顾一下。
Rune 的 AI 之路：Scaling Laws、资本与 Anthropic
Rune Kvist [00:01:18]: 好。
Rune Kvist [00:01:19]: 2021 年底，我卖掉了自己的第一家公司，一家 edtech 公司，之后有段时间在思考下一步做什么。后来我读到了 Scaling Laws 那篇论文，像被闪电击中一样，心想：“这是个了不起的想法。”简单说，Scaling Laws 讲的就是：模型越大，模型越聪明。
Swyx [00:01:38]: 是 Kaplan 那篇，不是 Chinchilla 那篇吧？
Rune Kvist [00:01:40]: 对，Kaplan 那篇。
Swyx [00:01:42]: 嗯。
Rune Kvist [00:01:42]：当时让我恍然大悟的关键点在于，资本市场开始理解这套逻辑了。投入更多资金，就能获得更多回报，这会触发炒作周期。于是，可预测的回报率成为一种共识，事实也的确如此。我随即收拾行李准备出发。我从未去过旧金山，从未涉足那里，但我只想飞过去寻找写出那篇论文的人。当时，他们刚刚成立了一家名为 Anthropic 的小型实验室，团队规模大约只有 40 人。我喝了一堆咖啡，最终得以结识 Dario。那时，他们正苦苦思索一些棘手问题：是否应该部署模型？是否应该产生营收？该如何与世界互动？他们刚脱离 OpenAI，公开报道显示，他们当时很担心 OpenAI 处理部署问题的方式。所以他们正在那类问题上挣扎。那是 2022 年初，正是混乱的初期，就像战争迷雾刚被揭开。当时最火的产品是 Jasper 之类的工具，市场上别无其他选择。因此，价值将流向何处，技术栈的各个环节将如何分布，全是悬而未决的问题。
Swyx [00:02:48]：我想强调一下，你会提出这些问题，是因为你拥有 PPE（哲学、政治与经济）的背景。
Rune Kvist [00:02:52]：是的。
Swyx [00:02:52]：我曾在新加坡参加过其中一个旨在为 PPE 培养人才的项目。所以我请了导师，一起学习哲学、政治和经济。但我觉得，你的背景确实很重要。机器学习领域的人去读那篇关于 Neural Scaling Laws（神经网络规模定律）的论文时，未必能得出和你相同的结论。但任何资本家读到它都会惊呼：“天哪。”
Rune Kvist [00:03:19]：确实如此。
Swyx [00:03:20]：对吧？
Rune Kvist [00:03:21]：是的。
Swyx [00:03:21]：是谁让你注意到那篇论文的？毕竟那不是通常在你圈子里会读到的文章，对吧？
Rune Kvist [00:03:26]：是的。我想，其实从 AlphaGo 那一刻起，我就意识到 AI 是个大事了。
Swyx [00:03:36]：是啊。
Rune Kvist [00:03:36]: 当时感觉这事儿引发了好多有趣的哲学问题，但从远处看具体往哪走其实并不清晰。不过很明显，如果我们能找到合适的机制，让技术资本这台机器开始处理这件事，那将是件大事，只是当时并不明朗。我觉得有些东西在那时开始变得显而易见，而且当时不如现在看得那么透，对吧？就是那种“哇，这太有意思了”的感觉。但从我哲学和经济学背景来看，如果这事儿属实，你将不得不应付社会所有那些重大问题。你学到的关于政治的一切都会被抛到窗外，关于经济学的至少也要被挑战。所以，站在这样一个前沿领域，其影响波及一切，这种感觉很有意思。这就是我追求它的原因。
Swyx [00:04:32]: 嘿，这当然是非常深刻的洞察。对不了解的人说，PPE（哲学、政治学与经济学）项目正是“首相的摇篮”。所以后来你就遇到了 Dario。
Rune Kvist [00:04:41]: 是的。先遇到的是 Dario，没错。
Swyx [00:04:43]: 对。好吧，你是从和他们交谈中，获得了一些你最初假设里没有的额外洞察吗？
Anthropic 的早期信念与缩放定律的水晶球
Rune Kvist [00:04:50]: 如果你读过 Scaling Laws 那篇论文，你会得到一种很模糊的感觉：哇，这东西好像挺重要的。图表上有几条线，感觉挺重要。而我觉得 Anthropic 的团队比任何人都想得更深：如果把这件事认真推演下去，意味着什么？当时他们就写了一些愿景文档，相当细致地推演了 2026 年的世界会是什么样：需要多少算力、资本支出会是什么规模、会引发哪些社会担忧，当然还有这里能产生多大的经济价值。回头看，他们就像握着一个水晶球，而且这个水晶球后来被证明惊人地准确。他们并不是笃定自己一定对，只是说：“请认真对待这个假设。”
Swyx [00:05:38]: 把它想透，对。
Rune Kvist [00:05:38]: 像那种“情境感知”一样把它想透，也就是
Swyx [00:05:43]: 街对面那篇。
Rune Kvist [00:05:44]: 街对面那篇。
Swyx [00:05:44]: 你们办公室隔壁。天哪，我们全都住在同一个一平方英里里，就在街对面。
Rune Kvist [00:05:50]: 没错。那篇文章到现在也有些年头了，但最近这几周因为 Fable 和 Mythos 又不断被人提起。就是说，只要你认真对待“Scaling Laws”这一个想法，很多东西就都顺理成章了。
Vibhu [00:06:03]: 别忘了，这个团队还是做出 GPT-1、GPT-2 和 GPT-3 的同一批人。
Rune Kvist [00:06:08]: 没错。
Vibhu [00:06:08]: 所以这可不是随便做做实验，他们是真的把一个跑得通的模型不断放大。
Rune Kvist [00:06:14]: 他们对这个理念有着很深的信念：只要有一大堆算力和数据，它就“想”去学习，从中会涌现出越来越聪明的模型。至于具体细节，当时还不清楚。
Vibhu [00:06:26]: 是啊。
Rune Kvist [00:06:27]: 当时这些影响并不清晰。但他们对这个核心论点有着极深的信念，这种信念甚至令人眩晕。它既极具启发性，也令人兴奋；但很快你就会意识到，如果这一假设成立，我们今日所处的世界将不复存在。因此，在某种宏大的层面上，这件事显得至关重要。
Vibhu [00:06:48]: 那段经历是如何塑造你的？那是 2022 年初。当时不仅 GPT-1、GPT-2 和 GPT-3 已经问世，Anthropic 那些出色的创始人也从未分道扬镳——他们也是唯一一群真正坚定信念、选择离开 OpenAI 并创办自有实验室的团队。你提到当时那里大约有 40 人，那时的氛围是怎样的？
早期 Anthropic 内部：使命、部署与风险
Rune Kvist [00:07:06]: 当时的情况与外界如今看到的非常相似。团队极其凝聚，极具使命感，并置身于一种张力之中：他们既认为 AI 可能带来极好或极坏的结果，又希望参与构建它。这种矛盾产生了巨大的张力。他们一直在权衡激励机制带来的挑战：明知身处一场竞赛，可能被迫使走捷径，但同时也认为站在技术前沿至关重要。当时所有这些想法都并存。这条主线显得非常清晰。我认为，无论人们是爱他还是恨他，他们都坚守了自己的立场。他们拥有一套核心信念，其深度远超大多数公司对任何信念的坚持。
Vibhu [00:07:58]: 是的。快进到今天。
Rune Kvist [00:08:00]: 是的。
Vibhu [00:08:00]: 这如何引出了 AI 承保公司？你在做什么？什么动机促使你创立它？
从 Waymo 到 AIUC：面向 AI 的信心基础设施
Rune Kvist [00:08:05]: 是的。AIUC 通过标准和保险为前沿 AI 构建信心基础设施。Anthropic 与信心基础设施之间的联系，源自早年间站在 Anthropic 办公室窗前，看到 Waymo 无人驾驶车驶过的场景。早在 2022 年初，Waymo 在某种程度上就像汽车的 AGI。它们拥有超越人类的驾驶能力，但你没法坐着一辆去机场。而现在，四年多过去了，你依然无法叫一辆 Waymo 去机场，尽管此时人们都已经审视过证据并达成共识：“它们比人类司机更强。”因此，在那个特定案例中，显而易见的是：限制 AI 实用性的约束并非能力，而是责任归属、风险或信任。这个问题是普遍存在的。目前
Rune Kvist [00:08:52]: Fable 未开放访问的原因，并非它不是个好模型，恰恰因为它是个极好的模型。只是很难对它将会或不会做什么做出承诺。随着 AI 变得更强，这个问题会变得更糟。基本上，更智能的 AI 可以拥有更高的自主性。这更有价值，但风险面也随之扩大。因此，正如 Waymo 所示，除非你构建信心基础设施来对 AI 做出承诺，或者至少揭示其风险，否则应用推广就会停滞不前。政府、银行、医院和军队都需要对 AI 会做什么以及不会做什么有某种把握，才能运营它并将其纳入工作流。这正是我们试图解决的问题。那么，为什么要选择标准和保险？追溯历史，每一波技术浪潮都经历过类似的问题。比如回到 1900 年左右，电力
Vibhu [00:09:47]: 本杰明·富兰克林。
Rune Kvist [00:09:48]: 房子会烧毁，会死很多人。1930 年代，汽车是大事，夺走了很多人的命。1950 年代，私营核能兴起，风险很大。每一次，市场都跑在监管前面，去建立信心基础设施，因为要做出“上不上”的决策、要推动技术落地，这东西必不可少，而市场本质上就是想要技术落地。在所有这些案例里，标准和保险之间都形成了一套共同蓝图。为什么是这两个组件？因为标准相当于提供了“交通规则”，还规定了要做哪些测试，好让我们评估风险有多高。以汽车为例，那就是碰撞测试。碰撞数据今天直接影响你的保险定价和购车决策等等——这基本上就是风险评估框架。保险公司之所以重要，是因为赔钱的是它们。所以在所有私营机构里，保险公司最有动力如实量化风险，并想尽办法降低风险，因为这直接关系到它们的利润。可以说，它们塑造了整个行业的激励机制。这两者配合起来效果非常好。那这对一家公司意味着什么？其实几年前就逐渐明朗的一点是：那些前沿公司，包括我们今天的客户，比如 Cursor、Sierra、ElevenLabs、Harvey，向银行卖一个试点项目非常容易，演示本身就足够打动人，像魔法一样。但如果想真正落地，要在银行或医院做全面部署，就必须走风险评估流程。这些银行连该问什么问题都不知道，更别说什么样的回答才算合格，更别说怎么去验证这些 agent 是不是真的按预期运作。于是这些前沿公司面临的问题是：我们说什么才能赢得信任？我们认为有一句“黄金话术”，大意是：“我听说你很担心幻觉、越狱攻击之类的问题。我们接受过独立第三方按黄金标准的测试，成绩非常出色。而且更有说服力的是，全球最保守的保险公司看过我们的数据后，愿意把一部分风险接到自己账上。”
Swyx [00:12:06]: 对。
Rune Kvist [00:12:07]: 所以如果真出了事
Swyx [00:12:07]: 背后是有资金支持的，是的。
Rune Kvist [00:12:09]: 正是如此。这就是把所有这些东西串联起来的纽带。我们可以深入探讨一些与技术测试相关的难点，我认为那是问题的核心所在，但我先在这里暂停一下。
Swyx [00:12:19]: 你和 Rajiv 是怎么走到一起的？— 我总是感觉你们特别自信，毕竟你们在发布 A 轮融资等诸多成果，但我真想看看早期想法形成的那个阶段。
与 Rajiv Dattani 共同创立 AIUC
Rune Kvist [00:12:31]: 是的。Rajiv 其实是我即将成为的妹夫。
Swyx [00:12:35]: 哦。
Rune Kvist [00:12:36]: 我将在两周后与 Rajiv 的妹妹结婚。
Swyx [00:12:42]: 好的，这下你们关系就更铁了。
Rune Kvist [00:12:44]: 没错。
Swyx [00:12:44]: 现在你知道内幕了。
Rune Kvist [00:12:45]: 我和 Rajiv 认识已经有十年了。有个有趣的故事：当时我和 Hena（他的妹妹）都在伦敦的麦肯锡做实习生，Hena 和我几乎同时认识了 Rajiv，而他被指派做我的导师。所以我们就这样认识了。很长一段时间里，我们并不确定是否一定会合作。我当时在做初创公司，而他当时是麦肯锡的保险业务合伙人。大概三四年前，我想是 Hena 说服了他，认为 AI 将会是一件大事。于是他辞去了伦敦麦肯锡那份优渥的合伙人工作，收拾行李飞往旧金山，最终加入了 METR。你们在网上应该对这家机构很熟悉了
Swyx [00:13:24]: CEO。
Rune Kvist [00:13:24]: 正是。
Swyx [00:13:24]: 我们听说过 METR。
Rune Kvist [00:13:25]: 你可以看到，智能体可承接任务的范围正呈指数级扩大。他在 METR 担任 COO 期间，主导了与 Anthropic 和 OpenAI 的合作，在模型发布前进行测试，同时也与美国和英国政府密切合作，探讨“如何判断一个模型是否可以发布”。从某种角度来说，这段经历非常契合。他在保险领域深耕多年，熟悉这个行业，也积累了大量前沿模型测试的经验。所以，当我在这个构想空间里摸索，从之前讨论 Waymo 的一些想法切入时，我们俩几乎同时意识到：“如果我们一起干，这会是个绝佳的生意。” 这本质上是在应对我们都认为从市场角度看最重要的问题：市场能发挥巨大作用，而 AI 进展越快，政府越难单独解决这些问题。不过，要理清如何与一家人共事，也花了点时间。
Swyx [00:14:27]: 确实。
Rune Kvist [00:14:27]: 而且，
Swyx [00:14:30]: 当时你们已经在约会了。
Rune Kvist [00:14:31]: 对，没错。
Swyx [00:14:33]: 好的。
Rune Kvist [00:14:34]: 当时就已经。
Swyx [00:14:35]: 对。
Rune Kvist [00:14:35]: 那时我们就觉得彼此像家人一样。
Swyx [00:14:36]: 不错。
Rune Kvist [00:14:36]: 所以，一起创业对我们来说是个跨出的一大步。如今，我们之间有着深厚的信任。
Vibhu [00:14:43]: 对。那么，你们现在的公司规模有多大？
AIUC-1 认证：智能体安全、可靠性与稳健性
Rune Kvist [00:14:46]: 我们现在只有 20 个人。
Vibhu [00:14:47]: 20 人，已经完成了 A 轮融资，并且推出了首个认证 AIUC-1。让我们看看这个认证。这是智能体认证，对吗？认证流程包括什么？我有两个问题。第一，请介绍一下认证过程；第二，企业获得认证的流程是怎样的？
Rune Kvist [00:15:08]: 好。正如页面顶部所说，AIUC-1 是一套针对 Agent 安全、安保和可靠性的标准。它的基本设计原则是：把所有拖慢采用进程的顾虑——也就是让财富 1000 强安全负责人夜不能寐的那些问题和担忧——全部纳入一个统一的框架。你在这里看到的就是这些内容，一共六大类。第二，所有这些都要以技术测试为根基。安全标准常见的一个问题是，它们往往像是走过场的纸面工作，并没有验证过到底有没有用、重不重要。所以我们从一开始就认定，这会是关键所在：要通过认证，必须每季度接受测试，基本就是跑几千次模拟，看看它到底能不能被越狱？越狱难度多大？幻觉频率多高？数据泄露多频繁？等等。最后一个核心理念，如果你往上翻到顶部，就是每季度更新一次。
Rune Kvist [00:16:08]: AI 最核心的特点就是变化极快。我们今天讨论的这些担忧，三个月前根本不存在，而且还会持续演变。传统标准大约十年才更新一次，这显然行不通。问题在于怎么更新？核心做法就是把财富 1000 强的风险负责人聚到一起。如果你看左边这里——
Vibhu [00:16:32]: 好。
Rune Kvist [00:16:32]: 这里是 AIUC-1 联盟。联盟由一批风险负责人组成，他们运营着真实的银行、医院和关键基础设施，每天都在直面这些挑战。我们每季度和这些人碰面两次，了解他们最关心什么、什么让他们夜不能寐。大家对这种对话的需求非常强烈。然后我们把这些反馈落实成具体的、可执行的标准。其实我们可以点进去看看——
Vibhu [00:16:55]: 好。
Rune Kvist [00:16:55]: 这个标准到底是什么？让我们回到开头的介绍部分，往左看一点，向上滚动找到那个轮盘，点击进入“可靠性”板块。像幻觉（hallucinations）这类问题就归属于可靠性范畴。这里列出了一系列要求。比如最上面的一条：“防止产生幻觉输出”。这是一个具体的技术要求，本质上我们需要某种过滤机制来确保输出的准确性。这里第一个看到的是所谓的“交叉映射（crosswalk）”。目前，各家机构都发布了高层级的 AI 风险框架，
Swyx [00:17:27]: 这基本就是你的竞争对手，
Rune Kvist [00:17:28]: 某种程度上算是我们的竞争对手
Swyx [00:17:29]: 别这么说，当然不算。
Rune Kvist [00:17:30]: 其实我们跟他们关系很好。稍后我会解释原因。
Swyx [00:17:31]: 明白。
Rune Kvist [00:17:32]: 把所有内容映射在一起，形成一个超集。你想论证的核心观点是：如果遵循了这个框架，也能看出如何遵循其他框架。但重点在于下方的控制活动和证据。所谓控制活动，就是好的，你有了这个高层级要求，如何将其转化为可操作的落地措施？这就是你必须做的事情，以及我们需要寻找的相关证据。
Rune Kvist [00:17:57]: 我们深入到这个层面，是因为关于 AI 的主要担忧其实没有那么多争议，大家对此都有共识。问题在于：你具体该做什么？我们发现，大家非常需要具体的落地证据，即人们需要查找的具体指标。无论你是在 Cursor 开发产品，还是在 JPMorgan 构建应用，甚至你只是 JPMorgan 的风险负责人，都适用。到底该要求什么？提出什么要求才不会显得外行？比如说，要求提供——你绝对不信，有那么多风险负责人曾向 Cursor 索要底层模型的知识产权（IP rights），结果你只能一脸懵地说：“抱歉，什么？”
Swyx [00:18:39]: 他偷偷夹带私货，你看出来了
Rune Kvist [00:18:40]: 夹带私货
Swyx [00:18:40]: 看看你有没有发现。
Rune Kvist [00:18:41]: 看看他们是怎么做的。没错。
Swyx [00:18:42]: 是的。
Rune Kvist [00:18:42]: 把这些写进问卷里。好，这就是我们的标准，我们会和这些人一起每季度更新一次，以应对最新出现的顾虑。
Swyx [00:18:51]: 能展开说说这一条吗？
控制措施、证据与第三方测试
Rune Kvist [00:18:52]: 可以。
Swyx [00:18:52]: 首先，网站做得很漂亮。非常能建立信心，而这正是重点所在：和我交谈时，我非常清楚自己正在注册什么。甚至根本不用交谈，我就能看到你们所有的认证，这太棒了。不过，从这里开始，比如 D001.1 配置落地性过滤器，它是如何应用的？是有一
Rune Kvist [00:19:16]: 是的，
Swyx [00:19:16]: 专门的人去检查吗？
Rune Kvist [00:19:17]: 如果你回过头去看
Vibhu [00:19:19]: 我在某处看到过，比如五十一项要求，一百三十项控制措施。那里有一整套
Swyx [00:19:25]: 对吧。我只是想说，对我来说，这些并不能直接转化为测试或评测。
Vibhu [00:19:27]: 是的。
Swyx [00:19:27]: 转换成测试或评测。
Rune Kvist [00:19:28]: 是的。如果你看左侧。实际上，在进入之前，有三类要求。第一类是技术控制，比如你必须实现某些护栏机制。
Rune Kvist [00:19:42]: 第二类是测试控制，也就是必须有独立的第三方来对你进行一些测试，我稍后会展示一个例子。第三类是保单控制。比如，当你们搞砸的时候，必须有一个具体的人承担名义上的责任，而且必须有如何告知客户、如何与客户沟通的预案。这些算是比较传统的标准要求。就这个具体场景来说，我们只是核实他们确实有一个过滤器。我们会与审计机构合作，比如 KPMG、Schellman 这样的公司，他们去做审计师该做的事——核查证据。这里的证据可能是一张截图，也可能是他们需要审查的一部分代码，只要确认它确实存在就行。
Swyx [00:20:21]: 哦，明白了。
Rune Kvist [00:20:22]: 然后第二个……
Swyx [00:20:22]: 所以你们并不测试它的有效性。
Rune Kvist [00:20:24]: 那是第二件事。如果你看
Swyx [00:20:25]: 嗯。
Rune Kvist [00:20:25]: 左边那栏关于幻觉的第三方测试，那就是下一个要求。在这一步，我们测试的是它实际表现如何。
Swyx [00:20:32]: 好，那测试是你们做还是审计机构做？
Rune Kvist [00:20:34]: 我们来测。
Rune Kvist [00:20:35]: 我们来测。
Swyx [00:20:36]: 那工作量挺大的。
Vibhu [00:20:37]: 测试要多久？如果我想拿到认证……
认证周期、整改与季度更新
Rune Kvist [00:20:40]: 好。
Vibhu [00:20:40]: 整个流程大概需要多长时间？
Rune Kvist [00:20:42]: 嗯，整体时长通常取决于客户需要我们
Vibhu [00:20:47]: 嗯。
Rune Kvist [00:20:47]: 配合核查什么。一般大概在 3 到 10 周之间。
Swyx [00:20:52]: 嗯。
Rune Kvist [00:20:52]： 这取决于他们现有的合规程度。有些人带着极其严格的网络安全计划来找我们，测试时效果极佳，流程非常迅速。有些人则起步较晚。我们会给他们一份需要达到的规范标准，他们的安全团队和工程师便着手开发以满足这一标准。测试本身通常需要几周时间，包括整改的周期。有时，我们会发现某些项目无法通过标准，确实未达标。这种情况下，他们需要实施额外的保障措施或进行更多整改，提升系统的稳健性，从而能坦然自信地面对客户，表示“我们已竭尽所能”。
Vibhu [00:21:35]： 认证有效期为一年，并且每季度更新一次？
Rune Kvist [00:21:38]： 是的，没错。
Vibhu [00:21:39]： 嗯，这点挺有意思。我想了解自第一次迭代以来发生了什么变化。这是针对生产环境中 Agent 的认证，对吗？你的客户比如 Lovable、ElevenLabs 和 Intercom，都经历了这一认证过程。
Rune Kvist [00:21:50]： 是的。
Vibhu [00:21:51]： 具体有哪些变化？我注意到你发布过相关内容，比如 Q2 增加了 MCP Agent，
Agent 风险的变化：编程、MCP 与 Agent 间交互
Rune Kvist [00:21:56]： 对。
Vibhu [00:21:56]： 以及 Agent 通信。自第一版以来，还有其他你想重点强调的变化吗？每季度会更新什么内容？
Rune Kvist [00:22:03]： 有的。其中一些变化源于 Agent 并非单一形态。例如，将 Cursor 这样的 Agent 与 Sierra 相比，差异非常大。再与 Harvey 或你的 Outbound 对比——
Swyx [00:22:16]： 还有 ElevenLabs，是的。
勒内·奎斯特 [00:22:17]： ElevenLabs 等公司各有各的特点。因此，我们希望设计一套适用于各类 Agent 的标准。起初，我们选择了一个偏向纯文本、聚焦于客服场景的标准，因为那里已有大量现成需求。随后，我们与各前沿领域的头部公司合作，逐步将标准拓展到其他领域，确保同一套标准既能适用于代码生成，也能覆盖客服和自动化等场景。这是我们的首要成果。近期，我们高度关注的一个议题是：Mythos 正在引发安全负责人的诸多担忧，围绕 Agent 之间交互的安全问题也日益增多。虽然目前仍处于萌芽阶段，但相关需求已开始浮现。大量问题涉及 OpenClaw 和 MCP，核心在于不同 Agent 开始相互交互，这已成为重点。此外，随着编码类 Agent 的爆发式增长，银行和医院等机构的需求也变得越来越具体。我们正努力提升标准的精度，因为该标准将决定未来全球大部分 Token 流转的规则。
维布 [00:23:26]： 能否为那些对此关注较少的听众简单说明？你提到了幻觉、引用等问题。在构建 Agent 时，最佳实践是什么？如果客户带着类似认证标准来咨询，他们可能很容易通过测试，但有哪些容易忽视、却必须具备的要素？
Agent 构建者的最佳实践：压力测试与护栏机制
Rune Kvist [00:23:46]: 最关键的问题是，很多公司都没有认真做过压力测试。他们把大部分时间——也许无可厚非——都花在优化正常场景和平均场景上，琢磨输出质量对客户来说够不够高。而且这些公司大多很年轻，还没来得及花时间去对抗性地思考：如果有人恶意攻击会怎样？有哪些复杂的边界情况是自己压根没考虑过的？所以我觉得这更多是一种思维模式的问题。在创业公司里也能看到类似情况——他们往往要过很久才招第一个安全工程师，而安全是完全不同于做好产品的一类风险面，前面说的道理大多都适用。其实大多数公司的架构是对的，也都有某种护栏，要么用模型提供商自带的，要么自己写了一些中间过滤器。只是这些东西效果不太好。比如装一个分类器，检查你是不是在不该给医疗建议的时候给了医疗建议，如果是就过滤掉——很多公司都有这种东西。问题在于它到底管不管用。而要坐下来想清楚用户能用多少种方式索要医疗建议、去读学术文献了解有哪几类
Rune Kvist [00:25:03]: 话术或花招可以绕过限制、让 AI 在不该给的时候给出医疗建议——这本身就是一门专业学问，而现在这块专业能力是缺失的。所以我们的发现是：大多数人手里都有正确的积木。这不是什么火箭科技，难就难在抠细节、做测试，验证它真的有效，让你能坦然面对客户——可能是银行，也可能是医院——说一句“这套东西对你是管用的”。
Vibhu [00:25:26]: 明白了。我们聊了很多 agent 层面的认证。你们接下来往哪走？在宣布 A 轮融资的时候，我们谈到过这个，还有 Fable 的安全风险、政府介入等等。你们是不是也在宣布要进入模型认证领域？
走向模型认证：政府与实验室之间的信任鸿沟
Rune Kvist [00:25:46]：后期我们会做一些删减的。
Vibhu [00:25:48]：好的。
Rune Kvist [00:25:48]：我们现在还不会宣布这件事。
Vibhu [00:25:49]：很好。
Rune Kvist [00:25:50]: 当前所有人都最关心的问题集中在模型层面。Mythos 和 Fable 的问世更是将这一议题推到了前台。除了 Agent 层面临商业风险和宏观经济安全威胁外，模型本身也在国家安全领域构成了风险。这个问题的底层逻辑其实很相似：总得有人为出错负责。在企业 Agent 场景中，通常是安全负责人担责；而在模型场景中，则是政府。他们未必整天琢磨新出现的风险、该搜集什么数据或如何进行测试，但确实需要确保这些顾虑得到妥善解决。前沿 AI 公司技术深厚，深知风险所在，但其根本动机决定了它们未必总是坦诚相告。这就在政府和实验室之间造成了信任鸿沟。在其他行业，人们都会引入一个中立的第三方机构来居中协调，而不是允许自我审计。因此，我们需要这样一个第三方：既具备实验室那种严谨性以执行前沿技术评估，又能像政府信任 PwC 进行财务审计那样，提供清晰可信的表达。政府知道审计报告输出方式一致、易读、客观且可信。这两者必须融合。我们在 Agent 领域的工作表明，若想让这两方的沟通顺畅，必须有一个公开的、可供检阅的通用标准。哪些风险至关重要？针对每项风险，具体要看哪些威胁模型？需要为每个风险制定护栏，并测试这些护栏是否有效。最后，执行一致的技术审计。如果目标是建立信任，系统性地梳理风险至关重要。不能只派一个研究员进去说“发现什么带回什么”。你必须能确切解释做了什么、试了什么、没试什么，以及最终能做出哪些承诺、不能做出哪些承诺。我认为
中立第三方、CAISI 与模型风险审计
Rune Kvist [00:28:13]: 这个问题有个直接的例证：Fable 案。政府被告知存在风险，但很难评估这个风险到底有多大。他们打电话给 Anthropic，而 Anthropic 的回答是：“其实，每个模型都能被越狱。”
Swyx [00:28:28]: 这可不是你想听到的话，对吧？
Rune Kvist [00:28:32]: 作为政府来说，这种话可能很难让人信服。
Rune Kvist [00:28:36]: 我们认为，中介机构是最自然的解决方案。其他市场也有类似的做法，比如金融市场里的 Moody's。Moody's 会对债券进行评估，然后给出评级：这是我们找到的证据，这是评级。至于该不该买这只债券，他们不做决定——那取决于各自的风险偏好。但他们提供了一层大家都能信赖的公共信息。以 Moody's 为例，政府可以据此规定：“养老基金要格外谨慎，不能拿退休人员的钱冒险，只能投资 AAA 级债券。”这样一来，政府就不必雇几千名金融专家每周重新跑一遍预测，来验证评级是否准确，只需要依赖一个中立第三方。我的直觉是，最终会出现一个介于政府和实验室之间的第三方。它可能是政府自己组建的，比如 CAISI 的设立初衷就是干这个的。然后——
Swyx [00:29:44]: 不好意思，我不太了解 CAISI。
Rune Kvist [00:29:45]: CAISI 是 AI 标准与创新中心。
Swyx [00:29:49]: 好的。
Rune Kvist [00:29:50]: 细节我就不展开了，它是 NIST 下设的机构，通常负责制定标准。简单说，就是一个拥有 AI 专家的政府机构。对，就是这样。
Swyx [00:29:59]: 非常关键，非常关键。
Rune Kvist [00:30:00]: 非常关键。
Vibhu [00:30:00]: 我觉得，当你静下心来审视现状，会发现政府目前是否具备足够的技术专长来准确衡量和测试这些系统？恐怕很难做到，对吧？而 Fable 的出现，某种程度上是因为我们不得不缩减规模并暂停了一些项目。
Rune Kvist [00:30:17]: 是的。虽然他们拥有优秀的人才，但与我们面临的挑战规模相比，其预算微乎其微。我认为政府确实有角色可扮演，关键问题在于职责分工：哪些由政府负责，哪些由市场承担？我们目前已经梳理出待办事项，清单相当详尽。每当发布新模型，考虑到模型可以接收任意输入，其风险面都令人咋舌。因此，核心问题是：哪些事只有政府能做，哪些事市场能提供以跟上 AI 风险演变的速度？我们的观点是，即便在模型层面，人们今天关心的风险与三个月前已截然不同。因此，立法速度太慢，无法精准应对当下的风险。我们认为市场可以承担大量工作，及时披露信息。归根结底，这里存在许多政策决策。例如，某模型的国家安全风险是否过高？
Swyx [00:31:12]: 确实。
Rune Kvist [00:31:12]: 这是一个政治问题。但我们希望确保，产生这些风险信息的过程能兼容快速创新。我们不想让它变成“能不能减缓进程？”或“能不能把模型锁起来几个月，直到所有人都能保证安全？”的问题。而是说，考虑到美国正与中国在模型发布上竞争，能否嵌入风险信息，让政府能够对这些快速变化的问题做出迅速决策？平衡“不采用 AI 的风险”与“鲁莽采用 AI 的风险”需要非常精细的操作，这需要大量高质量的情报支持。
中国模型、数据流动与国家安全担忧
Swyx [00:31:55]： 顺便提一下，既然你提到了中国模型，你的 CISO 们对此有什么具体顾虑吗？我猜主要是因为它们免费，但……
Rune Kvist [00:32:05]： CISO 们对整体数据流向有很多担忧。比如，如果模型是中国的，数据到底会流向哪里？我觉得这些问题大多都能得到解决，但它们确实经常被提到。
Swyx [00:32:18]： 嗯，他们知道这些模型是运行在美国 GPU 上的。
Rune Kvist [00:32:21]： 有一部分人，确实了解它们运行在美国 GPU 上。
Swyx [00:32:23]： 它们不会在你“call home”（回传数据）的时候，每次都往中国那边“拨电话”汇报。
Rune Kvist [00:32:26]： 对。一年前，大家对这点还不太理解。我其实觉得，你正在目睹安全领域领导者们以惊人的速度变得“懂 AI”。你也能看到，我推特上那些一直关注 AI 安全的人群，和我领英上以前完全不关注这块的人群，现在正在趋同。他们都在讨论 Fable。
Swyx [00:32:45]： 确实如此。没错。
Rune Kvist [00:32:46]： 他们都在讨论如今是否能防止模型被越狱（Jailbreak）。
Swyx [00:32:51]： 是的。
Rune Kvist [00:32:52]： 国家安全层面的风险，如今才真正成为了大家关注的议题。除此之外，我认为你还能看到一种普遍的状态：人们并不担心某个特定模型或某次模型输出，但普遍感到不安的是，关键基础设施运行在并非由美国政府掌控、也不是由美国人开发的模型上。
Swyx [00:33:14]： 但这一点并不直接体现在你的框架里，或者说，可能体现了一部分，我不确定。
Rune Kvist [00:33:18]： 框架里其实有一些关于模型来源（Provenance）和披露机制的内容。但我认为，在很多使用场景中，运行一个中国开源模型就是最优解。
Swyx [00:33:27]： 是的。
Rune Kvist [00:33:27]: 还有一个稍微宏观层面的担忧，靠任何单一的认证等级都不太能解决。
Vibhu [00:33:32]: 如果你要填补中间那段空缺，也就是调停机制上的空缺，除了普通人能想到的，你们预判还需要哪些有意思的东西吗？
网络安全、儿童保护、生物风险与专家协作
Rune Kvist [00:33:47]: 这里有很多有意思的问题，关于哪些风险才真正重要。眼下最受关注的是网络安全，因为它非常真实、非常具体。还有一些正在浮现、同样真实而具体的风险，比如儿童保护，它既变得极其重要，也有了政治层面的意义。另外还有一些风险目前看起来有点遥远，但整天跟模型打交道的人已经能预感到它们正在逼近，比如与生物学相关的风险。
Rune Kvist [00:34:18]： 具体而言，就是模型是否会在协助对抗方生产生物武器方面发挥作用，并使其成本极低、获取极易，从而大幅提高另一场类似 COVID-19 甚至更严重的疫情爆发的概率。当初 COVID-19 的出现并非人为刻意设计，但如果真有人想要达到那样的效果，风险就会非常大。我认为这些是亟待关注的风险之一。还有一点需要指出，即当前智能体的功能范围通常被刻意限定得比较窄。例如，前沿智能体公司推出的面向客服场景的聊天机器人，往往会被严格限制在特定的对话主题范围内。如果你问它“你对总统怎么看”，它会直接拒绝回答，这意味着其潜在风险面相对较小。但大语言模型的风险面是无限的。目前尚没有哪位单一专家能够全面评估包括网络攻击风险、青少年与聊天机器人进行长达数月的对话后是否可能被诱导自残或陷入其他极端行为、以及恐怖分子利用 AI 制造生物武器等各类风险。风险覆盖面太广了。因此，核心挑战在于：如何让各专业领域的专家在统一的框架内协同工作，最终产出一份连贯的报告和评级，供全球各方审阅？全局视角至关重要，但现实中目前还没有任何一家机构能够做到这一点。
Swyx [00:35:47]： 当你们发布模型标准时，外界默认就会将责任归属于你们。
Rune Kvist [00:35:51]: 我们认为，单一企业可以联合专家联盟，构建一套连贯的标准。我们在当今企业面临的各种风险中已经证明了这一点。我们相信，某一家公司可以与联盟合作，制定审计规则，基本上界定所有技术专家所需的输入和输出。他们需要哪些访问权限？应如何处理信息安全？他们可以评估评估指标（evals）是否制作精良，而不必直接判断“这是不是威胁”。但总体而言，评估这些指标是否优质、构建是否规范，这套审计规则将成为连接所有专家的接口，我们认为一个清算中心（clearinghouse）可以将其整合起来。需要说明的是，我所说的“一家公司”，其实是指其扮演协调大量工作的角色，正如我们的联盟所示，我们并非声称在智能体安全领域拥有所有答案。我们强调的是，我们承担的角色是汇集各方关切，充当记录员，将这些内容汇总并高效管理，确保标准每季度同步更新。最终发布的审计报告，在本例中是100页的文档，必须统一、简洁、清晰，且详细程度足以支持高管做出明确的执行/否决决策。我们认为，这可能就是我们将要扮演的角色。
OWASP、框架与运营审计层
Swyx [00:37:11]: 我认为在很多方面，你们正在履行 OWASP 过去承担的职能。你刚才提到了竞争与合作伙伴。
Rune Kvist [00:37:18]: 是的。
Swyx [00:37:19]: 能更详细地说明一下，他们是如何合作吗？
Rune Kvist [00:37:20]: 对。首先，OWASP 本质上是一个由安全从业者组成的开源社区，大家一起制定框架来应对最新的安全问题。他们做框架非常出色。实际上，我们跟他们是合作伙伴关系，还联合发过一篇文章。其次，我们从他们身上学到很多，他们是一个极好的信息来源。但 OWASP 不做的事情，是搭建一套执行第三方审计的机制——让 Cursor 或 JPMorgan 这样的公司能请第三方按照这套框架来审查自己，然后告诉他们：“你通过认证了，这是报告，你可以用它来建立信任，提前解答合作伙伴或客户的疑问。”所以他们做的事情从根本上说是不同的。他们参与了信息收集、情报汇聚和厘清问题，但把这些转化为承诺的执行层面，并不是他们想做的业务。
Swyx [00:38:14]: 这套标准正在成型，而且发展得很好。那你们是不是觉得还必须做承保？毕竟这写在你们名字里——所以请记住，你们是最先想到这点的。我感觉只要行业共识足够强，其实不一定需要钱这一环，不过有了确实更有说服力。
Vibhu [00:38:30]: 我还想提一点，你们是一家营利性公司，对吧？这里面是不是还有一整套商业逻辑？
为什么营利性的标准和保险公司很重要
Rune Kvist [00:38:39]: 对，对，我们来说说这个疯狂的——
Swyx [00:38:41]: 来聊聊钱的部分。
Rune Kvist [00:38:42]: 对，对，来聊聊钱。先从你刚才那个问题说起——营利还是非营利。在今天的网络安全领域，大部分标准都是非营利组织制定的，我觉得这是个问题。
Rune Kvist [00:39:00]: 你得问自己一个问题：怎样才能建立起好的激励机制，让这些标准保持高质量、持续更新？
Rune Kvist [00:39:09]: 非营利机构通常缺乏那种容易导致恶性竞争、拉低标准的逐利动机，但它们的默认缺陷在于无法响应所服务社区的需求。它们并不存在一套流程去询问服务对象：“你们想要什么？你们想要什么？你们到底想要什么？”纵观现状，大众对现有安全标准的满意度并不高。事实上，在其他领域，盈利标准往往能很好地服务于社会。比如之前提到的穆迪（Moody's），虽然不完美，但它作为关键的社会基础设施，如今已支撑起惊人的规模。你的信用评分，比如 FICO 分，背后也是盈利业务。如果把目光投向更远的历史，部分碰撞测试标准正是源自保险公司。