机器人大脑之争进入深水区：为什么物理世界需要从头设计模型

作者 | 华卫

如果说今年 WAIC 最直观的变化是什么，具身智能的超强存在感无疑是其中之一。在 H3 馆内，超过 200 家具身企业的集中亮相，让这一领域第一次以成体系的方式出现，甚至被抬升至与智算并列的核心赛道之一。

与往年相比，一个重要的变化正在发生：“表演型机器人”不再是主角，搬运、巡检、分拣、整理等更贴近真实场景的能力展示显著增多。决定机器人从“可看”走向“可用”的关键变量，是那个不那么直观的部分：“机器人大脑”。

今年以来，围绕 VLA 与世界模型的技术路线讨论持续升温。此前，蚂蚁灵波首席科学家沈宇军提出过一个颇为直接的判断：将数字世界的视频模型通过微调迁移到机器人场景，本质上仍是一种路径依赖，更像阶段性的“捷径”，而非面向物理世界的终局解法。这一判断来自一位生成模型出身的研究者，也让“具身原生”这个概念有了更加具体的技术含义。

沈宇军的判断并不只是一句路线主张。本届 WAIC 前夕，蚂蚁灵波发布了全栈大脑 2.0，一次推出 6 款模型，覆盖从空间智能、灵巧操作到环境反馈的全链路，让机器人看得更清楚、想得更明白、干得更利索。其中，LingBot-VA 2.0 是行业首个具身原生世界动作模型。

按照沈宇军的解释，在终局架构尚未确定时，蚂蚁灵波选择先把感知、对齐、预测和行动等能力拆开验证，再寻找融合方式。“全栈”解决的是怎么拆问题，“原生”解决的是从哪里开始——数据、训练目标和模型架构，都要服务于机器人在物理世界中的感知与行动需求。

日前，蚂蚁灵波宣布启动融资，首轮拟募资 15 亿元，并计划于年底完成第二轮融资。消息一出，行业目光随之聚拢。蚂蚁灵波以“全栈大脑”践行“具身原生”的技术路线，也由此迎来更公开的行业检验。

下面是我们在 WAIC 现场与沈宇军展开的一场专访对话，试图追问几个更深层的问题：具身数据的标准为何迟迟没有收敛？VLA 和 VA 路线并行探索的终极目标是什么？“具身原生”为何要从头开始？

以下是对话的实录整理：

具身数据的“新大陆”：难点、标准与数据飞轮

InfoQ：过去几年，大语言模型的发展依靠互联网几十年积累的数据红利，而物理世界的数据被您称为“新大陆”。那么要找到这片新大陆，当前最核心的难点是什么？目前行业有没有初步形成一些数据采集标准？

沈宇军：在具身智能赛道，数据还没有形成具体的标准。每一家公司想要的数据形式，包括包含哪些模态以及每种模态需要达到什么样的精度，都没有共识。例如，有的公司认为只需要头部一个摄像头就够了，有的走五指夹爪的路线，还有的采用遥操作。头部摄像头代表的模态是视觉。但即便是头戴式设备也分很多种：有些只配置上方两个摄像头，提供视觉和深度信息就足够了；有些则还需要增加更多摄像头，目的是获取头部位姿信息，会运行局部 SLAM。

从头部的数据来看，我们到底仅需要视觉，还是也需要头部的位置信息？这是一个问题。关于手部，夹爪方案也面临同样的问题：到底只需要通过头部视觉看到手的骨骼就足够，还是还需要手本身的姿态信息，抑或进一步需要手部触觉？在模态尚不确定的情况下，很难谈得上形成标准化的数据采集方式并大规模落地应用。因此，数据采集目前仍处于行业共同探索哪种数据格式对机器人发展更优的阶段。

数据格式之所以还未形成共识，还有一个原因是技术路线本身也没有收敛。没有人确切知道大脑整个训练过程中到底需要哪些模态。第二，即使把模态确定下来，每种模态的数据到底需要达到什么样的精度或质量标准，也尚未确定。近期感受较深的是手部位姿这件事情，有的人要求毫米级精度，有的人要求厘米级精度，到底需要什么精度，目前大家也还在探索。可能大家普遍认为精度越高越好，但精度越高必然带来成本越高，成本越高就越难规模化。那么，如何在精度也就是数据质量和成本之间取得平衡？这是一个非常关键的问题。

整体而言，数据之所以难以收敛，原因在于数据迭代与模型迭代是高度耦合的。目前行业还存在一个断层：做数据或传感器的团队可能有自己的一套指标体系，但做模型的人对数据却有不同的关注维度。假设一个数据有十个维度可以优化，而模型可能只重点关注其中五个。理想情况下，如果数据要与模型健康共生发展，就应该重点优化那五个维度。但现在做模型的人也提不出哪五个维度是最重要的，因此做数据的人只能尽可能地把所有模态、所有指标都向前推进。但全面推动就会导致成本急剧上升。所以核心还是标准未定，因此很难做取舍，这是当前的一个现状。

InfoQ：目前机器人涉及的数据大概包括遥操数据、第一人称数据和仿真数据。蚂蚁灵波本身也在数据训练和采集方面有所布局，那么在这几类数据之间，您会如何做取舍？如何在数据质量和成本之间寻找平衡？

沈宇军： 我们当前主要采用的是真实数据，但真实数据不完全等同于真机数据。我们认为有两类真实数据更为关键。第一类是真机遥操作数据，因为无论模型优化到什么程度，这一类数据都很难绕过。机器人毕竟要在物理世界中执行任务，它的大脑必须熟悉自己的身体。熟悉身体最好的方式，就是直接获取从身体本身采集到的数据。这一类数据可能不需要体量非常大，但质量要求非常高。

另一类需要上量的是真实的无本体数据。例如通过第一人称设备采集的数据，或者现在很多人使用的夹爪采集的数据，未来可能还会有手套方案。这类数据同样比较珍贵，因为它代表了人类最真实的行为方式，也就是人如何去做一件事情。例如，在仿真中我们也会让机器人去执行任务，但机器人的动作方式与人的下意识反应有时并不相同。因此，这一类数据非常关键，而且它比真机遥操作数据更容易上量。

互联网数据可以作为打底的数据。但互联网数据在向物理世界迁移时，有些模态是无法补全的。不过互联网数据体量大，而且确实蕴含了一定的知识，这可能是我们在模型训练阶段会重点关注的数据类型。

InfoQ：行业最近也在大量讨论仿真数据。对于具身智能来说，仿真是否会成为解决数据问题的重要路径？对于希望做通用机器人的方向，仿真数据是否更有价值？

沈宇军： 我认为，如果解决的是一个具体场景的问题，比如自动驾驶领域，仿真用得比较多，因为这是一个场景相对明确、任务也比较清晰的领域。在这种情况下，为它专门开发一套仿真系统，包括物理引擎等，是划算的，目的就是把这一类场景做得非常扎实。从这个角度看，无论是将仿真数据引入训练，还是用仿真来做评测，都是非常合理的。

但灵波的定位是希望做通用机器人。对于通用机器人来说，如果希望它完成各种各样的事情，而为了每一类事情都去构建一套仿真环境，我认为就有些过于沉重了。短期内，还没有出现一个真正优秀的仿真引擎，能够支持完成所有任务。而且从成本角度来看，构建仿真并不一定比获取真实数据更划算。此外，在采集数据时，我们仍然关心人是怎么做一件事情的。比如打开一瓶水，人可以有很多种方式，但在仿真里很难模拟出人最真实的反应，也就是拿到一瓶水后下意识会做什么动作。所以从这个角度讲，从人出发或者说“以人为本”的数据，在模型训练尤其是预训练阶段可能更为关键。

InfoQ：大语言模型的发展证明了数据红利和 scaling law 释放了巨大潜能。但物理世界的数据更加碎片化。具身智能的数据飞轮什么时候可能出现？未来机器人是否有可能不需要针对每一个领域、每一个场景单独采集数据，就能够获得泛化能力？

沈宇军：从整体来看，我对此还是比较乐观的。乐观的原因在于，前面提到数据标准不确定，是因为模型路线也不确定，这两者相互牵制，使得任何一方都难以向前迈进。但最近几个月，模型路线正在慢慢收敛。一旦模型先迈出一步，数据就会跟上；数据跟上之后，模型获得更多数据，可能会更加聚焦，路线也会进一步收敛；然后模型会提出新的数据需求，数据又会根据新的需求变得更加规模化。整体趋势是比较乐观的。

但我不敢轻易谈 scaling law。只能说，在现有数据规模化的过程中，我们能看到数据规模越大，模型智能确实有所提升。但是这种趋势未来能持续多久，是指数级上升，还是呈对数趋势下降，还不好判断。所以我更倾向于谈论趋势。目前还没有看到拐点出现，但模型开始出现收敛趋势，这对整个数据领域的发展是有好处的。

全栈大脑的“拼图”逻辑：模型路线的收敛与解耦

InfoQ：您认为现在具身大脑的模型路线正在收敛。但从行业观察来看，大家发布的大脑模型形态和名称反而越来越多。比如灵波这次发布全栈大脑 2.0，一次推出 6 款模型。这个过程是工程化落地阶段的妥协，还是机器人长期的大脑形态本身就应该拆分和解耦？如果解耦，全栈优势应该如何定义？

沈宇军：很多朋友也问过我，为什么上一次 1 月初发布时是 4 个模型，这次变成了 6 个，会不会以后变得更多。灵波开发模型并不是一个批量化模式，并非一定要一次做很多。正好借这个机会澄清一下：灵波做的每一个模型，都是在解决一个具体的技术问题。这个技术问题并不一定意味着该模型最终会直接用于某一台机器人的控制。机器人大脑当前还是一块比较大的拼图，中间需要很多技术能力，而这些技术能力目前都不成熟，或者说在物理智能这个方向上还没有被验证。如果一开始就做一个统一的大模型，直接开发一整块拼图，失败之后可能连问题出在哪一部分都无法判断，那这块拼图几乎是无法拼起来的，因为中间变量太多。

InfoQ：所以大家现在初步判断，端到端这个方向暂时还是比较难走通？

沈宇军：无论从数据规模还是当前技术发展阶段来看，真正意义上的机器人端到端控制距离实现还有一定距离，但它一定是最终目标。端到端更像是一块大的拼图，或者说一个最终的大模型，需要非常多的技术能力来支撑。我们这次发布的多个模型，每一个解决的都是其中一部分技术能力。当这些技术能力逐渐成熟，从最初一块拼图都没有，慢慢形成两块、三块，甚至七块、八块的时候，很多东西就会逐渐融合。但这里需要注意，技术能力的融合并不一定意味着模型本身一定要融合，而是模型背后某些能力在逐渐融合。我此前也喜欢打个比方，我们发布模型可能会经历一个“书越读越厚，然后再越读越薄”的过程。

短期来看，模型数量可能会越来越多，是因为我们不断触碰更多的技术难题。当某些技术难题在我们看来已经取得一定突破后，才会把模型发布出来。等到能力积累到一定程度，我们才会尝试把一些东西组合起来。技术能力验证通过之后，下一步才是解决如何融合的问题。所以从这个角度理解，全栈并不是简单意味着一个模型包含所有东西，而是意味着我们在不同技术方向上都有探索和积累，从表征学习到规模化训练，到训练效率，再到因果建模等训练范式，都取得了一定进展。未来当这些能力进一步成熟之后，我们也希望能够向行业解释这些能力应该如何组合。

InfoQ：大家现在把模型进行解耦和分层，可能工程实现上会更容易。但当这些细分模型最终需要协同工作，由同一个大脑进行指挥时，如何解决模型之间的衔接问题？另外，如果通过一个智能体或者框架去协调不同模型，会不会牺牲机器人的时效性和反应能力？

沈宇军：我并不认为时效性是最大的问题，它们属于不同的维度。在我看来，一个端到端模型可能需要解决几个核心问题。第一个是输入端的问题，也就是能不能把各种模态的信息拉到同一个维度的隐空间或者特征空间里。这一点非常关键，有些类似于人如何把眼睛看到的信号、皮肤感受到的信号转换成神经信号。首先需要解决的是能不能从输入端把不同模态变成高质量的特征。

第二个是模型端的问题。很多人可能会说，那我们直接融合就好，但前提是每一个模态本身是否已经完成了很好的特征学习。如果一个模态，比如视觉，本身都没有很好地理解自己的特征，就很难期待它与其他模态融合后能得到好的结果。所以第一个关键点是单模态能力，第二个关键点是多模态融合能力。融合之后，还涉及效率能力以及对未来的预测和预判能力。从模型维度看，它本身需要具备这些能力。

第三个维度是输出，也就是机器人最终如何把动作执行得更加完整。这更多可能与数据相关，需要让模型学习得更好。因此，现在并不是简单讨论到底要不要分层，而是技术问题本身一定会被拆开来看：模态理解到底做得好不好，模态之间融合得好不好，模型范式能不能支持高效推理和预测，最终动作执行能力够不够强。

我们现在所做的多个模型，就是在解决这些问题中的一个或者几个。当这些问题逐渐被解决之后，我们就认为某一部分能力已经形成，然后把这块拼图放在那里。随着这些碎片越来越完整，未来才有机会呈现出大家所期待的端到端模型。

为什么同时做 VLA 和 VA：先验证能力，再寻找终局

InfoQ：那我们再聊一聊这次灵波具体发布的模型。我个人比较感兴趣的是视频生成模型 LingBot-Video，它和我们常见的 Sora 类视频生成模型相比，主要面向物理世界，或者说真正指导机器人理解物理世界。那么它和内容生产领域的视频生成模型有什么区别？它对于物理世界规律到底理解到了哪一层？

沈宇军：这个模型主要解决两个问题。第一个是推理效率。虽然现在很多闭源视频生成模型已经使用了 MoE 架构，但开源领域还没有类似 MoE 架构的模型可供使用。机器人推理时一定需要速度快，所以在 LingBot-Video 这个模型里，我们希望验证灵波有没有能力训练出一个 MoE 基座模型。第二个问题是物理合理性，LingBot-Video 生成的视频真实感比较好。在预训练过程中，我们加入了很多机器人相关的数据，无论是操作数据还是移动数据。我们希望在这个过程中，对物理规律的强化下很大功夫，让模型能够更合理地预判物理世界。

这样做的原因在于，数字世界内容生成模型更在乎创造性，希望看到人在天上飞、跑得比火车还快等场景。而我们更关注的是对物理规律的建模。所以在模型特性的发力点上，我们和数字世界的模型不太一样。例如，我们可能没有那么关注 ID 的保持，一个人切镜之后是否还是同一个人，但人一定要是人，物体一定要符合其自身的规律，比如东西一定会往下掉，不会飞起来。

在后训练的强化过程中，我们基于这些特性做了额外强化，相当于放弃了一些数字世界关心的能力，增加了一些数字世界不关心但物理世界非常需要的能力。这就是我们和一些数字世界模型最大的不同。两类模型很难简单比较好坏，因为需求是不一样的。

InfoQ：您刚才提到物理世界规律的理解，那么机器人未来是否也需要学习类似物理学中的第一性原理，通过底层规律推演结果，而不仅仅是通过数据进行预测？

沈宇军：这个问题之前也有很多人问过我。2024 年初做视频生成时，我非常关注模型理解到的物理规律是否精确，比如重力加速度是不是 9.8 米每平方秒。但后来真正涉足机器人领域后，我发现这个问题和之前想象的不完全一样。以人为例，我们知道东西悬空之后一定会掉下来，也知道铁块通常会比羽毛落得快，但让人准确预测一个铁块或者一根羽毛具体什么时候落地、会怎么运动，人也做不到。比如羽毛受到风的影响，下一秒具体会飘向哪里，人很难精确计算。但是人看到羽毛之后，可以基于视觉信息快速判断它大概会往哪个方向移动，并做出反应。

所以，我认为机器人也类似。我们更期待的是物理规律的合理性，而不一定是百分之百的精确预测。数字世界的问题在于，我们无法获得真正的真实值（ground truth），但物理世界不同，机器人拥有眼睛和手，它可以和真实世界进行交互。因此，机器人需要的是一种基于真实感知进行合理预测的能力，而不是单纯追求理论上的绝对精确。

InfoQ：机器人不仅需要预测，还需要与真实世界交互。在这次发布的 6 个模型中，是否也涉及交互能力？未来触觉等感知信息会如何反哺机器人模型训练？

沈宇军：交互方面，我们这次有两个模型与交互相关，一个是 LingBot-VLA 2.0，一个是 LingBot-VA 2.0。这两个模型也是很多人好奇的一个问题，就是灵波到底选择哪条路线。我每次对外表达时都会说，路线不重要。但大家又会觉得，既然路线不重要，为什么两条路线都做，是不是不敢赌。其实并非如此。目前 VLA 和 VA 两条路线，我认为都不是终局。因为我觉得它们还是分别解决了各自的问题。VLA 解决的是我刚才提到的几个关键点里的对齐问题，VA 解决的是动态建模和预测的问题。这两个模型天然各自有优势，但短板也很明显，短期内可能也很难完全弥补。

之所以两条路线我们都做，第一个原因是，预测和对齐这两个能力都不可或缺，在还没有更好的架构之前，我们希望先把这两个能力摸清楚。第二个原因更为重要，就是我们需一个能够快速验证机器人相关数据的方法。VLA 相对发展得更早一些，也相对更成熟一点，因此基于 VLA 做数据判断是比较合理的。即便一个模型没有训练成功，我们也能够定位到底是模型的问题还是数据的问题。

为什么我们没有直接做一个特别大的端到端模型？因为一旦失败，我不知道到底是哪一块出了问题。所以，在不知道问题在哪里之前，我希望先确保一些零部件是可行的。VLA 和 VA 也是一样。我们现在还没有办法把它们真正融合成一个更好的模型，可能原因很多，包括技术还不成熟，数据还不够充分。但在这个东西没有办法真正融合之前，我们是不是就停滞不前？肯定不是。我们可以先通过 VLA 把对齐的问题解决，把数据摸清楚；通过 VA 去探索下一代路线需要的预测能力；同时把我们一直讲的“具身原生”这个概念，以及到底能不能从头训练一个模型的问题补齐。所以每一个模型在灵波的开发过程中都有自己的定位，它并不是看起来很多零散的模型，而是每一个模型都在解决一个明确的问题。

触觉是另一个问题。灵波在触觉上布局比较早，大概从去年开始就在做，但两次发布都没有推出触觉模型的一个重要原因是，传感器还不够成熟。首先，触觉传感器有很多方案，比如电磁、电容、视触觉等等，每一种方案擅长的东西不同，但问题也很明显。另外，即便有了一个相对较好的方案，它能不能规模化生产也是一个问题。硬件迭代本身有周期，传感器没有到位，本质上就是数据没有到位。

因此整体来看，触觉在整个具身智能行业里，目前还处于比较早期的阶段。但是灵波还是会坚定投入这个方向，因为我们认为机器人和人一样，很多东西不能只依赖视觉，这是物理世界与数字世界一个非常大的不同。所以我认为触觉未来一定会爆发，只是它会以什么周期、什么节奏爆发，目前还不好判断。但方向的重要性是确定的。

InfoQ：VA 可以理解为世界动作模型。那么从目前探索来看，VLA 和 VA 两条主流技术路线分别更适合哪些场景？它们之间是否存在明确的分工和协同关系？

沈宇军：目前我的感受是，VLA 的整体推理速度比较快，而且因为它是基于多模态模型构建的，所以对语言理解和临时指令变化可能会更好一些。例如，让机器人去拿杯子，在还没拿到之前突然改变指令，VLA 可能能够比较快地切换到另一个任务上。但世界模型这条路线，毕竟源自视频生成，之前所有的视频生成都是基于一段文字生成一段视频，中间很难直接进行任务切换。这是目前我看到的情况，当然未来技术可能会发展，但现阶段在这一点上 VLA 还是相对领先。另一个 VLA 比较领先的地方，是它对数据的鲁棒性可能会更好一些，不一定要求数据必须特别干净。

而 VA 也有自己独特的优势。一个很大的优势是它对随机性的容忍度会更高，因为视频生成本身面对的就是一个非确定性的场景。比如我们这次发布时有一个比较有趣的案例，一个人和机器人玩桌面小球，球最终会打到哪里，机器人不可能提前完全预测，因为这个过程本身是随机的。但在这种情况下，VA 在处理随机性方面表现更好。另外，它的数据利用效率可能也会更高一些。但 VA 的问题也比较明显，目前它对数据质量的要求还是比较高，数据采集是否足够干净对其影响比较大。

同时，在语言指令跟随方面，VA 目前可能也比 VLA 稍微弱一些。也正是因为我们确实把两条路线都摸过，并且看到了它们各自的问题，所以我才比较坚定地认为，如果单纯沿着这两条路线走，它们可能都还有很长的路要走，而且走到最后未必就是终点。我们不是为了探索这两条路线而探索，而是因为有一些能力必须被验证，所以才去做。最终真正积累下来的是能力，具体模型形态是否会保留，时间会给出答案。

具身原生：从物理世界的需求出发重新设计

InfoQ：灵波提出了“具身原生”的概念，大家对这个概念应该有一些共识。落在具身的模型上面，您觉得“原生”具体指什么？和把数字世界模型套用在机器人上训练这两种模式本质区别在哪里？

沈宇军：最开始我觉得“具身原生”这个词非常好理解，但后来发现对很多人来说它还是一个比较抽象的概念。其实原生可以分几个层面。首先是数据原生，也就是说我们需要的是为机器人而产生的数据。怎么理解呢？数字世界可能只需要图像、视频、语言、文字这些信息，但机器人在物理世界里面肯定需要距离，之后可能还需要触觉，甚至温度等更多模态。这些数据不能简单被已有的互联网数据替代，需要重新采集。这里面不仅包括模态数量，也包括不同模态之间的对齐，这就是数据维度上的原生。

第二个是模型能力维度上的原生。数字世界关注的能力，物理世界可能并不关注；物理世界关注的能力，数字世界也可能并不关注。所以不存在一个模型一定比另一个模型更好，而是需求不同导致模型设计天然不同。比如物理世界需要机器人反应快，需要时间单向流逝，但数字世界可能可以接受计算慢一些，只要最终质量足够高。因此，从需求出发，物理世界的模型在架构上可能就需要一些独特设计，这些设计可能不适用于数字世界，但对物理世界来说非常重要。

物理世界需要一个原生模型，这件事应该已经在全球具身行业形成了一定共识，因为物理世界和数字世界的需求本身就是不同的，一定需要有不一样的东西出现。但是，讲原生和真正把原生做出来是两回事。其中一个非常关键的点，如果用比较通俗的话来说，就是到底有没有能力从头开始训练一个模型，也就是所谓的预训练能力。

如果现在物理世界的数据足够了，计算资源也足够了，模型是不是就自然出来了？并不是。中间如何把一个模型从一堆随机数，训练成一个能够高效执行任务、真正成为机器人“大脑”的东西，本身就是一种能力。我们开源了一些模型，其实就是希望证明我们具备从零开始训练模型的能力。从一堆随机数开始训练，最终达到我们希望它具备的功能。有了这个能力之后，我们才有资格进一步去讨论具身原生。

InfoQ：从零开始训练一个具身原生模型，这个过程中的技术挑战是什么？有哪些难点是外界不容易看到的？

沈宇军：我可以举几个例子。先说视觉基础模型 LingBot-Vision，它是深度模型 LingBot-Depth 2.0 的基座。目前整个行业使用较多的视觉基础模型包括 CLIP 和 Meta 的 DINO 系列，使用的人很多，反馈也非常好。但当我们开始接触这个事情时发现，复现一个 DINO 并没有想象中那么容易。因为它是一个完全自监督训练的视觉模型，把它训练到一定程度以后再继续提升，并不像论文和技术报告里说的，运行一下代码就能直接达到效果。中间有很多问题，比如到底应该在什么时候加强教师网络对学生网络的监督，怎么让数据量真正提升之后，模型能够体现出规模化带来的优势。

因为我们希望它具备更好的空间感知能力，所以在 DINO 的自监督训练范式基础上，又加入了一些自己的目标函数。难点在于，需要把新的目标函数和自监督学习的训练范式结合起来，让它既实现我们想达到的目标，又能真正体现规模化训练的优势。在训练过程中，我们发现模型规模变大之后，小模型阶段看到的一些现象消失了；本来以为一个技术已经做好了，但是参数量增加之后发现不 work。中间踩了很多坑，最后才有了现在大家看到的 LingBot-Vision。

另一个例子就是 MoE。之前大家更多是使用开源架构，而开源模型很多是稠密结构。最开始我们想，稠密模型已经训练过了，把它变成多个专家，再加一个路由机制，应该不会太难。但真正做起来发现完全不是这样。比如设置了 10 个专家，训练之后发现只有两个专家在工作，剩下八个专家基本不工作，那这个模型实际上就和两个专家的稠密模型没有区别。因此，关键就在于如何让多个专家真正实现负载均衡。在这个过程中，我们尝试了很多策略，包括采样方式、目标函数设计等，最终让混合专家模型能够稳定训练，让不同专家真正实现负载均衡。

还有一个是因果建模。这里说的“因果”（causal）主要是遵守时间顺序的建模方式，不等同于一般意义上的因果推断。物理世界需要因果，数字世界很多模型是双向连接的，现在可以看到未来，未来也可以看到现在。数字世界生成剧本或者生成视频时，可以提前知道完整信息，所以双向连接没有问题，但在现实世界里面，现在不可能看到未来，只能基于过去的信息预测未来。为了解决这个问题，我们尝试把因果也就是单向注意力机制训练进去。这个问题在数字世界里其实没有太多先验经验可以参考，很多东西需要我们自己探索。

数字世界可能非常关注画面是否美观，但对机器人来说，画面不够漂亮并不是核心问题，关键看它是否足够符合物理规律。所以我们认为，因果或单向注意力虽然不是完美的，但它够用。它可能牺牲部分画面生成质量，但对实时预测和行动更重要。这些都是我们在整个训练过程中踩过的坑。也正因为经历了这些事情，我才越来越感慨，把原生真正做出来，是一种能力。

在具身 GPT 时刻前，安全不能只靠“围栏”

InfoQ：您之前在公开分享中多次提到具身智能的安全问题。从从业者角度来看，具身智能本身最大的安全风险在哪里？如果要实现真正安全，应该在哪个阶段介入？

沈宇军：关于安全问题，现在大部分方案仍是一种围栏式的安全。所谓围栏式安全，就是告诉机器人不能做什么。比如担心机器人打碎玻璃，就监测它与玻璃的距离，太近时就让它停止动作。但现实中的安全问题是无法穷举的，你不可能把所有危险行为全部列出来。比如大家经常说机器人可以倒一杯水，但假设旁边有一根电线，或者有一个插座，机器人在这里倒水会不会有触电风险？倒水本身没有问题，但因为环境变了，它的行为是否安全的标准也变了。

我们不能简单通过限制机器人“不倒水”来避免触电，因为倒水本身就是机器人应该完成的任务。真正的问题是，如何让机器人真正理解“安全”这个概念。就像人有安全意识，人知道什么样的行为应该避免，这就是我们一直想讲的“原生安全”。我认为原生安全是一种更高阶的智能，甚至可能比机器人能够完成一项家务、做一顿饭更高阶。从更长远来看，安全应该在预训练阶段，也就是最早、最基础的模型开发阶段就加入进去。

可以举一个可能不完全准确的类比：人和动物会本能地回避伤害，很多安全行为不是遇到危险时才临时查一条规则。但是机器人没有这种本能。那么如何让机器人形成类似的安全机制？我认为这是非常关键的问题。有了这种能力，它才可能自然衍生出更多的安全行为。现在讨论这个问题不算早，因为从提出这个想法到真正实现，也需要很长时间。所以我一直呼吁研究机构和学术界，现在就应该开始关注这个问题。不要等到机器人已经可以真正工作了，最后因为安全问题导致它无法大规模落地。应该从现在开始，为未来那个阶段做好准备。

InfoQ：现在具身智能这么火热，大家都期待具身智能领域能出现 ChatGPT 那样的时刻。您怎么看这个时刻的到来有什么特征？

沈宇军：回头看 ChatGPT 的发展，GPT 这个技术其实已经存在很长时间了，GPT-3 也出现了很久，但为什么 ChatGPT 一下子火了？关键在于，一个技术从只是一项技术，到被大众认知，也就是一个非从业者都知道它能帮我做什么，中间需要一个过程。ChatGPT 真正让大家感受到价值的，是“Chat”这个功能，因为人可以直接和电脑对话。

机器人也是一样。近期参加 WAIC，也能明显感受到，机器人更多还是看热闹，比如相比去年是不是更好、更花哨，成功率是不是更高。但是大家对于机器人技术本身能够带来什么，其实还没有形成很强的体感。所以机器人行业也缺少一个类似 GPT-3 到 ChatGPT 之间“Chat”的过程，也就是如何让每一个普通人都能够参与到机器人这个行业当中。

我之前也提过，这可能分两个阶段。终局肯定是机器人真正进入家庭，更好地服务人类，这是一件非常美好的事情，我们也会为这个方向努力。但这个阶段可能还比较遥远。在此之前，一个重要阶段可能是，普通人能不能以低成本的方式参与到机器人数据的生产。类似自动驾驶的发展，自动驾驶真正开始规模化，很重要的一个原因是像特斯拉这样的企业，有大量车辆在路上运行，每个人日常驾驶的过程都在帮助采集数据。如果有一天，机器人的数据采集也能够变得非常方便，比如每个人今天上班，只需要花一个小时，在不影响工作和生活的情况下，就能够帮助机器人产生一个小时训练数据，而机器人又能够因为这些数据变得更好，那个时候可能才是真正意义上的机器人走进普通人生活的时刻。我认为那可能才是我心目中的具身智能 ChatGPT 时刻。