NVIDIA Isaac ROS 5.0 推进智能体化开源机器人开发
要构建和部署能在动态环境中感知、推理并采取行动的复杂机器人应用,开发者需要全新的物理 AI模型和工具。
ROS 是由 Open Robotics 发起的开源框架项目,旨在帮助人类构建机器人。NVIDIA Isaac ROS 5.0 是基于 ROS 构建的 GPU 加速软件包集合,于今日在加拿大多伦多举办的ROSCon 大会上发布。它助力人类与 AI 智能体协同构建机器人。
此次发布引入了新的智能体工作流和平台支持,帮助开发者更快地构建、定制和部署机器人应用。
ROS 为现代机器人开发的大部分领域提供了开源基础,为开发者构建和连接机器人应用提供通用的工具、库和标准。
NVIDIA Isaac ROS 将 NVIDIA 的加速计算、物理 AI 模型和可投产用的库带入近 130 万 ROS 用户群体,帮助开发者使用免费且熟悉的开源工具构建高性能机器人应用。
将 AI 智能体引入机器人开发
AI 智能体 正在改变软件的构建方式,帮助开发者自动化重复性任务、在复杂代码库中导航,并更快地将创意转化为可用的应用。Isaac ROS 5.0 将这些能力带入了机器人开发领域。
Isaac ROS 5.0 引入了对 ROS Lyrical 和 Ubuntu 24.04 的支持,为开发者提供了一条采用最新 ROS 平台的路径,同时继续利用 NVIDIA 加速计算来处理高负载的机器人任务。NVIDIA 与开放机器人联盟合作,为 ROS Lyrical 贡献了一个标准化的数据处理接口,帮助机器人软件在不同计算硬件(包括 GPU)之间高效运行。
该功能面向整个 ROS 社区开放,为开发者提供了一种一致的方式来加速高负载机器人应用,其中 CUDA 为 GPU 加速提供了实际范例。
全新 NVIDIA Isaac 设置与操作技能提供了可复用的工作流,开发者和 AI agent 都能借此完成机器人开发任务。面向 agent 的文档也让 AI agent 更容易理解 Isaac ROS 的工具和工作流,从而更快地把开发者的意图变成可运行的应用。
一些技能已不止于辅助单个编码任务。新的 FoundationStereo 微调技能可以让 AI agent 帮助开发者将双目感知模型适配到自己的相机、环境和机器人应用中,从而针对特定传感器配置轻松获得更精准的感知。
FoundationPose 是一个用于物体位姿估计与跟踪的基础模型,现在提供了面向 agent 的推理库,让机器人感知和跟踪物体位置与朝向的速度最高提升 5.5 倍。
此外,pick and place(抓取与放置)——一个串联检测、深度估计和位姿输出的常见工作流——现在也作为独立的面向 agent 的技能提供,让机器人开发者在 Isaac ROS 之外拥有更多灵活性。
加速开源机器人生态
机器人生态已经开始把这种 agentic 开发方式扩展到自己的工作流中。
AgenticROS 是一个由 3D 感知技术公司 RealSense 赞助的开源项目,它将 Isaac ROS 与 NVIDIA Nemotron 开放模型及 NVIDIA NemoClaw blueprint 连接起来,让 AI agent 能够与基于 ROS 的机器人交互。RealSense 还在优化其最新的 AI 原生 3D 双目深度相机(包括 RealSense D585 Pro),以及面向 Isaac ROS 和 NVIDIA Jetson Thor 边缘 AI 平台的开源软件开发工具包,帮助开发者构建感知、导航和操作类应用。
Intrinsic 推出的开放机器加工解决方案是计算机数控(CNC)机器加工的参考应用,属于新发布的Intrinsic Core的一部分。Intrinsic Core 是一套开源的预配置运行时服务与能力组件,旨在加速工业机器人应用开发。该解决方案内置了对 NVIDIA FoundationPose 的兼容支持,可开箱即用地实现物体配准、追踪和位姿估计。通过采用FoundationPose 感知管线,该方案使机器人能够动态检测和处理零件,从而减少了对昂贵且刚性的物理夹具及专门系统集成的依赖。

Seeed Studio 正在将 NVIDIA Isaac ROS 应用于 reBot 机械臂,在 NVIDIA Jetson Thor 上结合加速感知、空间理解和运动规划。这种集成让开发者拥有一个实用平台,用于构建自适应的物理 AI 应用,涵盖从目标定位、具备碰撞感知的操作到自主抓取和放置。
Magna 利用 NVIDIA Isaac ROS 作为模块化、GPU 加速的机器人感知基础,用于同步数据采集和 NVIDIA Isaac GR00T 模型部署,并将其与 Isaac Sim 的硬件在环测试配对,从而加速将智能自动化技术从研究阶段推向实际制造和移动场景,同时降低风险。

Prefix.dev 的 Pixi 包管理工具简化了可复现机器人开发环境的创建,将 ROS 与 NVIDIA CUDA 平台整合在一起,帮助开发者更轻松地设置和共享加速机器人工作流。
作为 Isaac ROS 合作伙伴,Foxglove 通过其网页和桌面工具帮助开发者可视化和调试实时 ROS 应用。这些工具贯穿整个 Isaac ROS 教程,并支持诸如 3D 主题、nvblox 网格和 rosbags 等数据。
Flexiv 正在将 Isaac ROS 集成到其 Rizon 4 自适应机器人中,让开发者能够使用 NVIDIA 加速的机器人能力,并顺畅地完成从在 NVIDIA Isaac Sim 中测试应用到部署到实体机器人的全流程。

Ekumen(Grid Dynamics 旗下公司)正在现有的 ROS 和 Nav2 技术栈中使用 GPU 加速的 Isaac ROS 软件包,以提升精准对接、3D 障碍物检测、视觉定位和实时运动规划能力,并在 Isaac Sim 中验证每个应用。
Ekumen 在 GPU 上使用 isaac_ros_cumotion,约 2 至 5 毫秒内即可为仓库机械臂规划出无碰撞路径。
Ouster 将其 Stereolabs ZED 立体相机与 NVIDIA Isaac ROS 集成,为机器人应用提供 GPU 加速的感知能力。这一集成简化了实时目标检测、建图和导航的开发,同时保持与整个 ROS 生态的互操作性。
将完整的物理 AI 技术栈带到机器人上
开发者和智能体构建的应用,最终都需要在机器人上运行。
NVIDIA Jetson 是一个可扩展的计算平台,能在边缘端以实时性能运行物理 AI 技术栈,将 ROS、加速的感知与导航、AI 模型和应用逻辑汇聚在机器人上。
Isaac ROS 5.0 支持可扩展的计算能力,涵盖从入门级的 NVIDIA Jetson Orin Nano 到高性能的 Jetson Thor 设备。随着机器人工作负载日益复杂,这一特性为开发者提供了从开发到部署的完整路径。
机器人公司已经开始利用这种组合,将更多的 AI 处理能力直接集成到机器上。
Mentee Robotics 将 NVIDIA Isaac ROS 作为其 MenteeBot 人形机器人的感知与 AI 核心,使机器人能够实时解读视觉信息并执行习得的行为。在 NVIDIA Jetson Orin 和 Jetson Thor 平台上共享的软件基础,帮助 Mentee 将其创新从现有机器人扩展至下一代系统。

Universal Robots 已将 NVIDIA Isaac ROS 集成到其 AI Accelerator 软件开发工具包中,帮助集成商更快地部署高级感知与运动功能,而无需从零开始开发复杂的机器人软件。该方案由边缘端的 NVIDIA Jetson 提供动力,使机器人能够适应未精确定位的部件,从而减少对昂贵夹具的依赖,提升制造单元灵活性。
ROBOTIS 是友好型基于 ROS 的开发者工具 TurtleBot3 的制造商,该公司正在将 Isaac ROS 集成到其 AI Worker 机器人中,利用 GPU 加速的对象感知功能,实现包括抓取、放置和对齐在内的视觉引导操作任务。
ROBOTIS 使用 NVIDIA Isaac ROS CuMotion 执行对象操作任务。
FieldAI 的机器人基础模型可完全在机器人本地运行,无需依赖云端连接。该公司正在 Jetson 设备上集成 Isaac ROS,以更好地利用 GPU 加速,提升机器人端 AI 堆栈的效率。
Noble Machines 基于 NVIDIA Isaac ROS 在 Jetson 平台上加速通用型工业机器人应用开发的效率,直接调用现成的 AI 与感知能力,而非从零开始搭建。
通过整合开放的机器人生态、加速计算以及新的智能体(Agentic)开发流程,Isaac ROS 5.0 帮助开发者应对物理 AI 开发中的双重挑战:打造能力更强的机器人应用,并高效地在真实物理世界中运行它们。
目前,Isaac ROS 5.0 已正式发布,免费且开源。开发者可访问 GitHub 了解更多详情并开始使用 NVIDIA Isaac ROS。