使用 NVIDIA Isaac GR00T 端到端开发人形机器人策略
随着越来越多的团队从人形机器人调试转向特定任务技能开发,可复用开发工作流的需求日益增长。人形机器人的开发本身就很复杂,而目前的开发流程仍然高度碎片化,导致开发者在真正着手构建机器人能力之前,要先花费大量时间配置机器人基础设施。
尽管机器人社区已经在流水线的各个阶段开发出不少优秀工具,但由于软件生态各自孤立、数据格式互不兼容、工具之间需要手动集成,要把它们串联成顺畅的工作流仍然是一大挑战。为此,我们推出了 NVIDIA Isaac GR00T 开发平台:一个开源的人形机器人平台,统一了流水线的每个环节,让开发更快速。
本文将介绍端到端的 GR00T 平台,涵盖从数据采集、模型训练到大规模评估和部署就绪的全流程,展示一体化平台如何简化人形机器人开发。
加速端到端人形机器人开发
Isaac GR00T 平台帮助机器人开发者规模化人形机器人数据采集和基于仿真的训练,从而在真实机器人上开发、验证和部署策略。该端到端平台完全开源且模块化,团队既可以单独使用某个组件,也可以使用完整流水线,还能集成自己的工具,并基于经过验证的 NVIDIA 软件栈进行开发。
| 阶段 | NVIDIA 技术 | 功能 |
| 仿真环境搭建 | NVIDIA Isaac Lab-Arena | 创建用于数据生成、策略训练和测试的仿真环境。 |
| 数据创建 | NVIDIA Isaac Teleop | 采集高质量的机器人演示数据,用于策略训练与开发。 |
| 策略训练 | NVIDIA Isaac GR00T 1.7 + 训练脚本 | 利用仿真和真实演示数据,训练用于人形机器人推理和多任务行为的策略。 |
| 策略评估 | NVIDIA Isaac Lab-Arena | 在真实世界部署前,在仿真环境中测试和评估机器人策略。 |
| 策略部署 | NVIDIA Isaac ROS + Jetson Thor | 将模型导出为可部署的 LEAPP 包,并将训练后的策略部署到机器人上,实现实时的设备端推理与控制。 |
GR00T 工作流的一个关键组件是开源的 Isaac GR00T 1.7 视觉-语言-动作(VLA)模型,它通过强大的预训练基础简化了开发流程。该模型基于多样化数据训练,能够高效泛化到新任务和环境,同时生成更自然、更接近人类的动作。
开始使用 GR00T 1.7
GR00T 1.7 是首个开放且可商用的人类技能 VLA 模型,基于 Apache 2.0 许可证发布。作为跨本体模型,它接受语言和图像等多模态输入,在不同环境中生成执行任务所需的动作。开发者无需从零开始训练策略,可以基于已包含广泛操作先验知识的模型,通过后期训练将其适配到特定机器人、任务和环境中。
GR00T 1.7 有何新变化
- 强化的人类视频预训练: 1.7 版本在约 3.2 万小时真实演示及人类第一人称视角数据,以及来自 BEHAVIOR、RoboCasa 和模拟 GR-1 的约 8000 小时模拟推演和演示数据上进行预训练,以实现更拟人的动作。
- 新 VLM 骨干网络: 采用 Cosmos-Reason2-2B(基于 Qwen3-VL 架构)取代 GR00T N1.6 使用的 Eagle 骨干网络。这支持灵活分辨率,并能按原始长宽比编码图像,无需填充。
- 扩展部署支持: 新增完整管线导出至 ONNX 和 TensorRT 功能,提升导出可靠性并支持更高频率更新。
- 性能提升: 通过任务和子任务级别的分解,改善长时程任务推理能力,提高可靠性、运动质量及跨本体泛化能力。
- 基准测试改进: 在 DROID 和 SimplerEnv 上表现均优于 N1.6,其中 DROID-F0 提升 10%,DROID-F6 提升 61%,SimplerEnv Bridge 提升 5%,Fractal 提升 2%,展现出更强的泛化能力。
可通过 GitHub 和 Hugging Face 获取 GR00T 1.7,模型权重已公开,基础检查点参数量为 30 亿。
在端到端 GR00T 工作流中使用 GR00T 1.7 模型,可以简化后训练和策略评估,让基础模型到机器人实际部署行为的过渡更加顺畅。下一节将详细介绍在仿真工作流中使用 GR00T 1.7 的步骤。
使用 GR00T 平台和 1.7 模型完成灵巧操作任务
整个流程包括:
- 在仿真中搭建环境
- 通过遥操作采集机器人数据
- 将采集的数据转换为 LeRobot 格式
- 用转换后的数据集对 GR00T 1.7 进行后训练
- 评估后训练得到的策略
虽然本节以仿真为主,但同样的步骤也适用于实体机器人,并可迁移到不同的本体和任务上。
搭建环境
在采集训练数据之前,必须先搭建环境:用物体和机器人资产组成场景、定义任务,并选择遥操作设备。
在本例中(见图 3),机器人站在货架前,用手臂将苹果移到同一货架上的盘子里。全身控制器(WBC)负责保持机器人平衡;由于任务中机器人不需要行走,可以选用 AGILE WBC——它是一个单一的端到端策略,比站立/行走控制器更适合这类静态任务。
WBC 需要提前慎重选择:遥操作时,AGILE WBC 和 PinkIK 生成的关节空间目标会作为策略的训练信号,使用不同的控制器,同一动作会产生不同的训练分布。
从宏观角度看,实现方式如下面代码片段所示。这些片段使用 Isaac Lab-Arena API 来构建场景、注册资产并连接遥操作设备。这些仅为代码片段,如需查看完整的环境设置,请访问 GitLab Pages。
background = self.asset_registry.get_asset_by_name("galileo_locomanip")()
pick_up_object = self.asset_registry.get_asset_by_name(args_cli.object)()
destination = self.asset_registry.get_asset_by_name(args_cli.destination)()
embodiment = self.asset_registry.get_asset_by_name(args_cli.embodiment)(
enable_cameras=args_cli.enable_cameras
)
teleop_device = (
self.device_registry.get_device_by_name(args_cli.teleop_device)()
if args_cli.teleop_device is not None else None
)
scene = Scene(assets=[background, pick_up_object, destination])
task = PickAndPlaceTask(
pick_up_object=pick_up_object,
destination_location=destination,
background_scene=background,
)
return IsaacLabArenaEnvironment(
name=self.name,
embodiment=embodiment,
scene=scene,
task=task,
teleop_device=teleop_device,
)
采集演示数据
环境设置完成后,即可使用 Isaac Teleop 采集演示数据,采集过程中由 AGILE WBC 负责全身控制。演示数据通过受支持的 VR 头显结合 CloudXR 客户端进行采集。启动 CloudXR 运行时并加载 CloudXR 环境变量后,使用以下命令录制演示数据:
python isaaclab_arena/scripts/imitation_learning/record_demos.py \ --viz kit \ --device cpu \ --enable_cameras \ --dataset_file $DATASET_DIR/arena_g1_static_apple_dataset_recorded.hdf5 \ --num_demos 400 \ --num_success_steps 10 \ --disable_full_sim_buffer_reset \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab \ --teleop_device openxr
这里数据的质量和数量同样重要。要尽量保证演示干净利落:动作平滑、抓取稳定、接近方向多样,因为噪声大或前后不一致的数据会限制策略的学习效果。针对这个任务,我们收集了 400 条轨迹,并非一次性完成,而是通过多次数据采集拼接而成。你完全可以在正式投入完整演示数据之前,先用一小批数据跑通整个流程,弄清各环节如何衔接。
成功的演示会保存为 HDF5 文件,作为下一阶段的原始输入,随后被转换为 GR00T 1.7 后训练所需的 LeRobot 格式。
转换数据格式
GR00T 1.7 使用 LeRobot 格式的数据集,因此录制的 HDF5 文件会在训练前于 Arena 容器内进行转换。转换由配置文件 g1_static_apple_config.yaml 驱动,它负责将录制的字段映射为 GR00T 所需的格式:
# Input/Output paths data_root: /datasets/isaaclab_arena/static_apple_tutorial hdf5_name: "arena_g1_static_apple_dataset_recorded.hdf5" # Task description language_instruction: "move the apple to the plate" task_index: 3 # Data field mappings state_name_sim: "robot_joint_pos" action_name_sim: "processed_actions" pov_cam_name_sim: "robot_head_cam_rgb" # Output configuration fps: 50 chunks_size: 1000
运行以下命令进行转换:
python isaaclab_arena_gr00t/lerobot/convert_hdf5_to_lerobot.py \ --yaml_file isaaclab_arena_gr00t/lerobot/config/g1_static_apple_config.yaml
转换后会生成一个 lerobot 文件夹,其中包含存储状态和动作的 parquet 文件、MP4 相机录像以及数据集元数据。数据集转换完成后,就可以对 GR00T 1.7 模型进行后训练了。
后训练 GR00T 1.7
后训练过程在 Arena 容器外执行,需要在独立的 Isaac-GR00T 仓库副本中进行。微调命令会调整视觉骨干网络、投影器(projector)和扩散模型,同时冻结语言模型:
uv run python -m torch.distributed.run --nproc_per_node=1 --standalone \ gr00t/experiment/launch_finetune.py \ --base-model-path nvidia/GR00T-N1.7-3B \ --dataset-path $DATASET_DIR/arena_g1_static_apple_dataset_recorded/lerobot \ --output-dir $MODELS_DIR/static_apple_n17_finetune \ --modality-config-path /path/to/IsaacLab-Arena/isaaclab_arena_gr00t/embodiments/g1/g1_sim_wbc_data_gr00t_n_1_7_config.py \ --embodiment-tag new_embodiment \ --global-batch-size 12 \ --max-steps 20000 \ --num-gpus 1 \ --save-steps 5000 \ --save-total-limit 5 \ --no-tune-llm \ --tune-visual \ --tune-projector \ --tune-diffusion-model \ --dataloader-num-workers 8 \ --color-jitter-params brightness 0.3 contrast 0.4 saturation 0.5 hue 0.08
评估策略
后训练完成后,评估只需两步:将检查点加载到 GR00T 服务器中,然后运行闭环策略。Arena 采用服务器-客户端架构,其中服务器托管微调后的模型,Arena 客户端负责运行仿真并从服务器查询模型。
从 Arena 容器中启动客户端即可运行策略:
/isaac-sim/python.sh isaaclab_arena/evaluation/policy_runner.py \ --viz kit \ --policy_type isaaclab_arena_gr00t.policy.gr00t_remote_closedloop_policy.Gr00tRemoteClosedloopPolicy \ --policy_config_yaml_path isaaclab_arena_gr00t/policy/config/g1_static_apple_gr00t_closedloop_config.yaml \ --remote_host <SERVER_HOST> --remote_port 5555 \ --num_steps 600 \ --enable_cameras \ galileo_g1_static_pick_and_place \ --object apple_01_objaverse_robolab \ --destination clay_plates_hot3d_robolab \ --embodiment g1_wbc_agile_joint
在评估过程中,指标会实时打印到控制台,最终输出会告知您后训练策略的表现。
[Rank 0/1] Metrics: {'success_rate': 1.0, 'object_moved_rate': 1.0, 'num_episodes': 1}
如需调整评估规模,只需改动几个参数。--num_steps 控制 rollout 长度;设为 600 可做快速冒烟测试,大致相当于该任务的一个 episode。想要得到有代表性的成功率,就用 --num_episodes 100 评估完整的 episode(想更准确可以设为 1000),再加上 --num_envs 5 并行运行多个环境,让各次试验的随机性更充分。其他设置保持不变,只是改变了平均统计的 rollout 数量。
精简的开发流程
至此,Isaac GR00T 开发平台的完整流程就走通了。每个阶段都会产出一个干净的产物,直接供下一阶段使用,形成完全集成、精简高效的开发流程。虽然本教程以特定机器人形态为例,但同样的流程完全可以套用到你自己的机器人上:为你的使用场景定义任务、在你的系统上采集示教数据,然后复用同一套数据转换、后训练和评估工作流。
不断壮大的 GR00T 生态
越来越多的人形机器人合作伙伴已经开始采用 GR00T 平台和参考工作流。
- 1X、Agility、ANYBotics、Bellboy Robotics、FieldAI、Lightwheel AI、NEURA Robotics、Nexuni、Noble Machines、Schaeffler、Skild AI 和 Techman Robot 等人形机器人制造商和 AI 提供商正在集成 Isaac Teleop、Sim、Lab、ROS 等 GR00T 平台组件,以加速开发管线,让 AI 驱动的机器人更快投入实际工业应用。
- Stanford、CMU、UCSD、ETH Zurich 和 AI2 等研究机构将基于 GR00T 统一的端到端工作流开展实验,以降低集成复杂度,更快地完成从机器人调通到技能开发和真实环境验证的全过程。
- Haptikos、Manus、Noitom、OpenGraph Labs、PICO、Sensing、HTC Vive、Wuji、Xsens 等主流可穿戴和 XR 设备厂商的产品原生支持 NVIDIA Isaac Teleop,让高质量示教数据的采集更加轻松。
开始使用
GR00T 平台和 GR00T 1.7 模型现已开放,任何开发者都可以使用。无论从仿真还是实体机器人入手,工作流都是一样的:选择一个切入点,定义一个范围明确的任务,然后构建你的第一个端到端策略。
入门环节可能颇具挑战,因此我们构建了一套完整的端到端参考工作流。该工作流已在以下学习资源中提供:如何使用 NVIDIA Isaac GR00T 端到端开发并部署人形机器人,以及GR00T 平台介绍视频。
其他资源: