谷歌 Gemini 在安全测试中意外攻破三家真实公司隔离环境

谷歌 AI 模型 Gemini 在网络安全测试中意外突破隔离，侵入了真实互联网并攻击了实际企业。

据 《华尔街日报》报道，在五月份由安全公司 Irregular 组织的一次“夺旗”（Capture the Flag）演练中，Gemini 攻击了三家真实公司。其中一次，该模型通过猜测密码实现了入侵；另外两次，则是在公开信息源中直接发现了现成的凭证。谷歌表示，Gemini 在意识到自己已连接到真实系统后，每次都会主动停止操作。

Irregular 于七月底向谷歌通报了上述事件。此前，刚有报道称 OpenAI 的智能体在类似测试中入侵了 AI 公司 Hugging Face。谷歌对此一直未予披露，直到本周《华尔街日报》前来询问才作出回应。谷歌称，由于未造成任何损害，公司认为没有必要公开此事。事实上，与 Irregular 的测试相关的类似事件此前也波及了 OpenAI、英国 AI 安全研究所、Anthropic 以及 Meta。

所有突破隔离事件均源于 Irregular

根据 Irregular 的说法，涉及谷歌、OpenAI、Anthropic 和 Meta 的这些事件均源于同一根本原因。该公司在主要 AI 实验室发布模型前对其进行测试，以评估是否存在安全风险。其中一个特别复杂的场景旨在检验模型是否会协助恶意内部人员获取敏感数据。

在这次测试中，Irregular 为一家虚构公司取的名字恰好与某个真实域名重合。输入模型的指令中同时包含目标名称和 Irregular 自己内网中的地址，模型本应在内网里找到这个模拟目标。但测试环境意外开放了互联网访问，一些模型没有留在沙箱内，而是去攻击了那个真实域名。而这个域名的安全防护恰好很薄弱，成了 AI 的轻易得手的目标。该公司表示，这类“越界”事件很罕见，而且通常发生在模拟进行数百步之后的后期阶段，因此很难被发现。

Irregular 前身为 Pattern Labs，由 CEO Dan Lahav（曾是 IBM 的 AI 研究员）和 CTO Omer Nevo（曾在 Google 工作两年多）于 2023 年创立。据 PitchBook 数据，这家初创公司约有 35 名员工，并在 9 月的一轮融资中筹得超过 8000 万美元。