AI幻觉险酿战争：美军因虚假情报报告差点登船查扣中国船只
- 聊天机器人凭空捏造了一艘中国船只的货物细节
- 武装人员准备登船，无人核实信息来源
- 军事飞机已在活动，直到官员发现错误
一份错误的AI辅助情报评估，险些导致美军对一艘中国船只发动军事入侵。
这份报告在伊朗冲突期间传播，促使军方准备拦截该船，直到官员发现底层信息存在严重问题。
消息人士向CNN透露，武装人员正准备登船，军用飞机也在支援，这制造了一场主要大国间潜在危险的对抗。
AI辅助分析生成了错误评估
事件始于一位分析人员使用聊天机器人解读关于该船货物清单的情报。
据消息人士称，该系统在结合公开资料与机密信号情报后，生成了关于该船货物的错误评估。
随后，分析人员再次使用AI，以标准情报格式整理发现，并分发给军方官员。
官员们在预定行动前不久才核查底层信息，发现货物识别结果有误。
来源称该评估“完全虚假”，CNN另一消息源则表示这“差点引发战争”。
聊天机器人误判的具体内容尚未公开，关键的错误细节无从得知。
五角大楼及负责太平洋特种行动的军事指挥部未就此事件发表评论。
这一事件发生在美军正扩大在情报、作战、行政和战场决策中AI工具应用的背景下。
今年一月，国防部长皮特·赫格塞斯（Pete Hegseth）宣布了一项人工智能战略，旨在加速 AI 在军事任务和机构职能中的部署。
赫格塞斯表示：“我们将推动实验创新，消除官僚壁垒，集中投资资源，并展示确保我们在军用 AI 领域保持领先所需的执行方式。”
该战略涵盖情报工作、作战规划、企业职能等方面的项目，并扩大了对生成式 AI 系统的访问权限。
该部门随后表示，GenAI.mil 已获得超过 130 万人员的使用，在五个月内生成了数千万个提示词。
该事件暴露出一个困难的验证难题
据报道，这次失误不仅仅是聊天机器人回答不准确，因为其输出结果进入了用于做出重大军事决策的流程。
一旦错误信息出现在正式评估中，收到该文件的官员必须判断其底层证据是否支持这一结论。
目前尚无信息说明在评估报告送达准备海上行动的人员之前，采用了哪些验证程序。
也不清楚分析员在报告流传之前，是否知道聊天机器人引入了错误的解读。
据 CNN 报道，不同的军事组织使用不同的 AI 系统，而官员们描述了对这些系统生成信息进行检查的各种实践做法。
这种碎片化的环境使得难以确定一个统一的验证流程来规范军队中所有 AI 辅助的情报产品。
AI 工具可以让军事分析更快更简便，但考虑到其产生重大错误的潜在风险，在制定作战决策之前需要严格的人工验证。
当情报涉及竞争国家时，这种需求变得更加重要，因为涉及军用舰艇的错误评估可能引发报复。
错误的攻击行动可能会加剧相关国家之间的紧张局势，甚至导致更大规模的武装对抗或长期的政治和军事冲突。
