AI Agent 并非制造新风险,而是继承了既有风险
七月份,OpenAI 的两款研究模型参加了一次测试。这是一个内部 网络安全 基准测试,原本目的是让它们解决一系列漏洞利用难题。结果,它们发现答案大概率就在托管该基准测试文件的 Hugging Face 上,于是直接过去拿取。
Adenike CosgroveMimecast 首席营销官。
拿到答案的过程,是链接利用了一个包管理器的零日漏洞、使用了窃取的凭据,并渗透进 OpenAI 内部网络实现权限提升。模型突破了评估沙箱,触达了 Hugging Face 的生产 基础设施,实现了远程代码执行。Hugging Face 后来复盘了这四天半里发生的约 17,600 次操作。
没人命令它们去攻击什么。它们只是在考试时作弊。
Latest Videos FromTechRadarWatch full video here:随后在 Anthropic 和 Meta 又发生了两起事件,性质有所不同且至关重要。那些模型没有自己挖一条突围路线,而是发现了一条现成的路径,因为评估环境本身就配置有误。
在英国国家网络安全中心(NCSC)八月发布指导意见的三起事件里,一桩是智能体真正做出了新颖的恶意行为,另外两桩则是智能体直接穿过了一扇人为忘关的门。
猜猜哪种情况,在你自己的环境里发生的概率更高。
试图划分新类别的本能是错的
当下最本能的反应是把这一切都当作全新的 安全 类别。新的遏制策略、新的治理论坛、新的预算条目,年底前大概率还要造一个新缩略语。我理解这种吸引力,毕竟为新鲜事物拨款,远比承认旧问题一直未解决要容易得多。
但看看你的组织里,agent 到底是什么。它跑在某个员工的访问权限之上,用着他们的身份,或者他们随手创建的某个服务账号。它的权限范围,就是某个人某个周二下午配置时想到要限制的那些——通常比你期望的要少。把同一个 agent 交给两个不同的人,会得到两种完全不同的风险画像,因为 agent 没变,变的是人。
这并不是什么新东西。这就是我们讲了十五年的内部人风险,只是去掉了延迟。
好消息是,你已有的一部分能力可以直接迁移过来——这也是我不赞成有人兜售"从零重建"方案的原因。行为基线分析依然有效。当用户活动偏离其惯常模式时你已经有告警机制,而被劫持的 agent 呈现的正是同一类偏差。身份治理也是一样。
你为离职员工做的访问审查和离职流程手册,同样适用于 agent 凭据。如果跳过这一步,结果就是一堆 agent 还在美滋滋地用一个三月就离职的人的权限干活。
不能迁移的是工具。
模式可以沿用,工具不行
DLP 是围绕"人搬运文件"这个场景设计的。它假设的数据传输节奏和形态,agent 根本不具备。访问控制和容器化能画出边界,这有一定用处,但对边界之内允许发生的事情一无所知。权限蔓延不是一次边界突破,而是一个 agent 在完全合规的规则内,悄悄做着远超任何人预期的事情。
提示词注入则潜伏在这一切之下。有人把指令藏进邮件或文档里,收件对象是阅读它的 AI,而不是人。攻击者根本不需要窃取员工的凭据——agent 手里早就攥着了。
这就引出了最不起眼、却是我唯一敢在董事会面前坚持的建议:你必须清楚现在实际在运行的是什么。
影子 AI 并非新词,但问题依然严峻,而 AI Agent 让这种未经批准的“暗面”更难察觉。目前,98% 的组织实际上都在使用未经批准的 AI 工具。据 Mimecast 遥测数据显示,未经批准的 GenAI 工具每小时大约发生 8,000 次复制粘贴和文件上传。只要其中一次交互触发 GDPR 违规或知识产权泄露,麻烦就大了。正因如此,通过实时清单(live inventory)来追踪组织内的 AI 使用情况至关重要。不是去年那个季度的旧列表,而是真正实时的数据。供应商会悄无声息地在你们两年前批准的工具中开启 AI 功能,这意味着无论你的环境是否发生变更,清单都在逐渐失效。实时数据流控制、异常检测、Agent 身份目录化,这些都建立在实时清单基础之上;如果没有它,其他措施都收效甚微。
始终从可见性入手。
NCSC 的 Ollie Whitehouse 比我总结得更好:仅依赖事后检测,绝对不够。
Agent 并没有发明新的风险。它们只是将某人在配置上的一次疏忽与你因此遭受损失之间的时间差,压缩到了几秒钟。我们大多数人运行的架构,仍假设自己有更长的反应时间。
所以在批准下一个单点解决方案之前,先去查清楚那里已经有什么。我敢打赌,它的规模超出你的想象,而且其中大部分内容进入系统时,根本没人做过相应决策。
本文作为 TechRadar Pro Perspectives 系列的一部分制作,旨在展示当今科技行业中最优秀、最具智慧的人才的观点。
此处表达的观点仅代表作者个人,不一定代表 TechRadarPro 或 Future plc。如果你有兴趣投稿,请在此了解更多: https://www.techradar.com/pro/perspectives-how-to-submit