← 文章 / AI技术
sysdig 1天前 · 2026-11-21 04:54:26 · 0 阅读

当工作者是智能体时,谁该承担责任?

最新攻击活动、攻击者手法与检测指南,直达你的邮箱。

订阅falco feeds by sysdig

Falco Feeds 延续了 Falco 的强大能力,让专注于开源的企业获得由专家编写的规则,并随新威胁的发现持续更新。

了解更多绿色背景,左侧一个圆形图标,右侧三个要点:自动检测威胁、免去规则维护、保持合规,三个黑白光标箭头指向文字。
本文由 Sapiens 公司 AI 安全副总裁 Matt Adams 撰写,他将与我们一同参加Ground Truth London 活动,探讨 AI 工作负载安全。

如果你在一家组织工作,出了问题,你知道自己要负责。你签了劳动合同,犯了严重错误就要承担后果。大多数人平时很少想到这一点,但很多安全保障正是建立于此。比如可接受使用策略之所以有效,很大程度上是因为大家都知道:如果不遵守,就会有人来问个究竟。

而 agent 对这些毫不在意。它只有一个目标,会竭尽所能去实现它。通常这并非恶意,只是它对任务完成之后发生的事情毫无利害关系。

我一直向安全负责人提出的问题是:当工作由 agent 来完成时,谁来替代“责任”这个角色?

搞清楚到底什么在运行

追责的前提是知道是谁——或者是什么——在做这项工作。几年前,我所在的一家受严格监管的组织基本不需要为此操心:网页过滤非常严格,除非 AI 服务被明确放行,否则根本访问不到。没人能连上,自然也就没什么需要盘点。

如今很少有组织还处于那种状态,所以第一件事就是去排查正在运行的进程,以及正在外流的数据。

你正在寻找的部分答案,看起来可能完全不像是软件。在我交流过的许多组织里,总有人写下某个技能或提示词(prompt),发现它对某项任务很有效,随后分享给同事。有时候这会经过评审再发布,有时则只是一个通过聊天窗口发出来的 Markdown 文件。驱动这些工具的很多内容其实都是纯文本,这使得问题比一个陌生的可执行文件更难发现。毕竟,一份有风险的操作指令文件和某人的会议记录,看起来可能没什么两样。

归根结底,如果你不知道某样东西存在,就无法追究它的责任。一份有用的清单还必须记录每个 agent 背后是谁,因为问责权依然落在人身上。凭我的经验,安全负责人往往低估了 AI 已被广泛使用的程度,这就是为什么清单必须放在首位。

在 agent 外部进行监控

当你清楚有哪些东西在运行时,更棘手的问题是如何让它保持在界限之内。

支撑这些 agent 的模型是概率性的。无论它们变得多优秀,都可能被诱导做出不该做的事,也会犯错误。在提示词中告诉 agent 什么不能做固然有帮助,但那只是一个请求,它并不总是遵守。控制措施必须在 agent 无法篡改的地方强制执行。

隔离是最强的控制手段之一,但每增加一条限制,agent 的实用性就会降低,而人们会绕过那些无法完成任务的工具。关键在于赋予每个 agent 完成任务所需的最小权限,不多一分。随后,通过可见性来确认你是否把这条界限划在了合适的位置,以及在哪里可以安全地放松管控。

接着是 agent 操作记录的来源。如果记录仅来自 agent 本身,或者来自运行它的 harness(即 agent 运行的框架),那么其可靠性就仅限于你试图监督的那个对象本身。agent 自述仍有价值,因为它展示了 agent 打算做什么。但这不能成为唯一的记录,因为在最需要的关键时刻,它的可靠性往往最低。

因此,监督需要在 agent 及其 harness 之外具备两样东西:系统层面实际发生情况的视图,以及在发现异常时阻止 agent 并回滚的能力。这两者都不应依赖 agent 的配合。

不妨像安全团队看待拥有特权访问权限的人那样来理解 agent。内部威胁项目历来依靠观察实际行为而非自我报告,同样的原则也适用于 agent:看它实际做了什么,而不是它说做了什么。

放心地引入更多 agent

只要做得好,企业就能批准更多 agent 上线。我接触过的大多数企业都希望让更多种类的 agent 接入更多数据源、干更多有用的活。真正让它们犹豫的,是担心一旦 agent 访问了不该去的地方、做了不该做的事,没人能发现。良好的可见性和有效的防护措施正好能消除这种顾虑,而且一旦到位,推进速度反而可以更快。

举个例子:一个编程 agent 需要读取生产数据库来排查问题。没有任何管控时,稳妥的回答是拒绝。但如果为这个任务分配只读角色、不授予任何其他权限、并记录它执行的每一条查询,那就可以批准。

可见性还会改变安全团队的角色定位。我认为,企业使用哪些 AI 工具,不该由安全团队拥有最终决定权。安全团队自然会优先考虑安全结果,有时难免牺牲业务目标。这个决定权应归属数据和 AI 职能部门,或者首席 AI 官(如果设有这一职位)。两者都没有时,最好交给负责 AI 落地项目的人,通常是 CIO 或 CTO。

当然,安全团队应该和其他利益相关方一起,在决策桌上发出清晰的声音;工具获批之后,防护措施仍由安全团队负责。

有了证据支撑,安全团队的话语权才更有分量。能够独立掌握 agent 的实际行为,安全团队就能比较有把握地告诉业务方:可以放心走多远。比起充当最后一道关卡,这对安全团队来说是一个更有价值的位置。

批准下一个 agent 之前

和我聊过的人里,还没有谁能完整回答该用什么来替代 agent 的问责机制。我最接近的答案是:一份 agent 实际行为的记录,关联到启动它的人,而且 agent 自己无法篡改。在批准下一个 agent 之前,建议你先回答这几个问题:

  • 你是否清楚整个企业正在使用哪些 agent 和工具,包括那些没人正式批准过的?
  • 谁有权决定下一个代理的行动方案?安全团队需要向决策者展示哪些信息来支持这一判断?
  • 你能够在不依赖代理主动配合的情况下,在中途强制停止它的行动吗?
  • 如果明天某个代理做了不该做的事,你能否在不依赖其自述的情况下,完整还原事件经过?

12月9日,我将在 Ground Truth: London 大会上与 Codification 创始人 Richard Smith 以及 Sysdig 威胁研究团队 的 Alessandro Lo Prete 一起,在讨论小组中深入探讨这些问题。如果你也在关注这些议题,欢迎加入我们。

作者简介

Matt 是 Sapiens 的高级副总裁兼 AI 安全负责人。此前他在花旗银行(Citi)担任生成式 AI 与新兴技术安全负责人。他亦是 STRIDE GPT 的创作者,这是一款由 AI 驱动的威胁建模工具,目前已被全球各地的安全团队采用。 精选资源

以正确的方式防御云环境,与安防专家亲自体验

获取演示
原始来源: sysdig

评论 (0)