超半数英国企业称 AI Agent 曾失控,并波及业务或客户
- 53% 的英国 CIO 曾目睹至少一个 AI 智能体违反既定策略,并影响到业务或客户
- 全球“失控” AI 行为的平均比例为 31%,这引发了对英国 AI 治理现状的质疑
- CIO 正承受越来越大的压力以证明 AI 投资的回报,多数 CIO 预计若未达成目标将面临预算削减甚至失业
一项新研究显示,AI 智能体失控正日益成为英国企业面临的挑战,该研究同时引发了关于职场 AI 策略与治理的讨论。数据表明,英国境内违规操作的 AI 智能体所引发的安全问题,远比全球平均水平严重。
由 Harris Poll 受 Dataiku 委托进行的调查发现,英国的 CIO 还承受着巨大的压力,亟需展现 AI 投资的价值。
CIO 将问题归咎于 Dataiku 所谓的“AI 智能体蔓延”——即在 workplace 中创建和使用定制 AI 智能体。由于部署速度远超治理能力,这一做法不仅给组织本身,也给客户带来了潜在风险。
AI 智能体的风险
Harris Poll 对来自英国、法国、德国、美国、阿联酋、日本、韩国和 Singapore 的 685 名 CIO(首席信息官)进行的调查显示,全球 CIO 在治理方面面临着挑战。但结果显示,英国似乎正面临一些独特的问题。
一个显著的数据是:53% 的英国 CIO 表示,他们目睹过至少一个 AI 智能体违反业务策略并影响到自身组织或客户,这一比例明显高于 31% 的平均值。但这还不是全部。仅有 49% 的人能提供审计记录来解释 AI 的行为,而 68% 的人认为识别失控的 AI 智能体并将其影响控制在一定范围内需要超过 24 小时。
87% 的英国 CIO 提到 AI 蔓延带来的挑战,这些问题似乎源于监管 AI 使用的政策、程序和法规。
Dataiku 现场首席数据官 Faye Murray 指出:“超过半数的英国企业报告称 AI 智能体违反了既定策略,这应当是一个信号:仅靠监控是不够的。”
失控操作需要建立完整的问责体系,正如穆雷所指出的那样,『……事后无法亡羊补牢,必须在部署之初就将其纳入设计之中』。
拔掉插头
这意味着在 AI 领域,行业原本就搞错了方向。无论规模大小,都绝不能任由自治系统为所欲为。Dataiku 首席执行官 Florian Douetteau 表示:『行业向 CIO 们兜售的是『自治』,却忘了提醒代价:自治系统必须受到管控,而不仅仅是被监控。』
『监控只能告诉你代理正在运行,管控才能告诉你它是否配继续运行。目前,几乎没有企业具备终止代理的能力。』对于那些 AI 代理已经失控的企业而言,这段文字或许令人坐立难安或感到失望,但解决方案确实在于强化监管。正如 Douetteau 所言,除此之外的唯一选择就是『拔掉插头,然后祈祷』。