下一波 AI 进化：从糟糕的游戏操作中汲取智慧
只需轻摇拇指摇杆、扣动扳机并点击几个按键，即便是菜鸟玩家也能在 3D 游戏世界中灵活穿梭。一家英国初创公司押注认为，这些简单的操作序列中蕴含着海量信息，可用于训练新一代 artificial intelligence 模型。
在 AI 行业的某些领域，一种观点正逐渐深入人心：large language models 最终将受限于其无法驾驭物理世界的缺陷。LLM 仅基于文本训练，因此可能缺乏驾驶自动驾驶汽车、操控机械臂或执行其他需要精细度与精准度动作的能力。为了弥补这一短板，以 Fei-Fei Li 和 Yann LeCun 为首的一批知名研究者，正将精力转向另一类 AI：world models。
要想精通现实世界的物理规律，world models 需要基于视觉与动作数据混合进行训练。在能灵巧地操控机械臂之前，模型可能要先学习工厂车间的视频录像，并结合物体应被以多大的力度握持、以何种扭矩移动等信息。但与基于海量文本训练的 LLM 不同，world model 实验室缺乏类似的语料库。
“对于 world models 而言，你需要因果关系数据，”专门研究 AI 的苏塞克斯大学副教授 Xiatian Zhu 说。“而在互联网上，这类数据非常匮乏。”
受 LeCun 顾问指导的英国初创公司 Worldmodeldata，旨在通过打包游戏工作室收集到的手柄输入及其他数据——这些作为副产品以海量形式存在——来构建 world models 的训练数据集，从而解决这一问题。像 General Intuition 和 Niantic 等一些公司，已经通过自身平台收集游戏数据来建立模型。但 Worldmodeldata 将自己定位为中介，负责整理和组织数据，省去实验室与众多游戏工作室逐一达成协议的麻烦。
Worldmodeldata 公司 CEO Rhea Loucas 对 WIRED 表示：“世上有数百万款优秀的游戏，而且它们越来越接近真实世界。为什么不从视频中汲取海量、丰富、多样的经验，用来训练 AI 呢？”
虽然这一假设尚未得到充分验证，但研究人员普遍认为，世界模型的性能会随着训练数据集的规模而提升，就像 LLM 那样。这意味着，合适的训练数据短缺是制约该领域发展的最大瓶颈之一。
一些实验室尝试在测试环境中给人类和机器人绑上传感器，手动采集自己的数据。但这种方法产出的数据量很小，而且无法涵盖模型在真实场景中可能遇到的边缘情况。
“你可以雇人演示抓取和放置任务，但光靠重复操作，无法捕捉到一个让机器在其中运作的混乱世界，”投资了 General Intuition 的风投公司 Khosla Ventures 合伙人 Nicole Fraenkel 说。
Worldmodeldata 的理论是，从视频游戏环境中采集的数据——3D 空间的视觉呈现配上玩家做出的操作——不仅数量充足，而且足够多样，能够覆盖那些至关重要的极端情况。
“真正需要做对的，恰恰是这些极端情况，”Fraenkel 说，“汽车、飞机、无人机、工厂叉车或自主四足机器人一旦出错，代价是非常高的。”
Worldmodeldata 称，公司已从多款热门游戏的开发商那里授权获得了近 100 万小时的数据，但 Loucas 拒绝透露具体是哪些开发商。未来，这家初创公司还计划建立渠道，让普通玩家也能获得报酬。
Loucas 相信，游戏数据最终将构成世界模型训练材料的主体，之后再针对特定的现实环境或任务用专门数据进行优化。他声称：“这很可能催生世界模型的 GPT 时刻，让它们真正变得有用。”
不过，并不是所有人都对游戏数据抱有同样的乐观态度。Nvidia 发布了一系列针对自家芯片优化的世界模型，它更倾向于使用自己专门打造的自研引擎来模拟现实世界物理规律，作为其 AI 的底层支撑。
Nvidia 世界模型开发负责人 Ming-Yu Liu 指出，基于电子游戏输入训练出的模型，在处理需要精细运动控制的任务（如小心翼翼地操控物体）时，表现恐怕难以令人满意。原因在于，游戏里的物理引擎往往存在偏差，开发者为了营造逼真的假象常走捷径——例如角色伸手从桌上摘个苹果——却不会去编码那些细节：手指施加多大的压力才能防止苹果从指缝间滑落。
“我更倾向于谨慎对待使用游戏数据进行操控类任务的训练，”Liu 表示，“操控的物理机制要复杂得多。”他建议，游戏数据更适合用于训练旨在生成超逼真视频或 3D 环境的世界模型。
来自萨里大学的学者 Zhu 也有类似的担忧。“本质上来说，电子游戏是模拟器。它们确实具备一定程度的物理基础，”他说，“但非常粗略且近似。”
不过，在世界模型迎来属于自己的“ChatGPT 时刻”之前，关于如何实现这一目标的各种设想都还未被排除。“通往理想之境的路径有很多条，”Fraenkel 说，“事实是，到底哪条路效果最好，目前还没有定论。”