走进 Omniverse：开发者如何用前沿 AI Agent 将创意变为模拟应用
将模拟构想转化为可用的应用，需要整合资源、打通物理与渲染流程，并验证场景表现是否符合预期。开发者正借助前沿 AI 模型搭配NVIDIA Omniverse 库来完成这些工作——构建应用以探索场景、排查故障并优化设计。
开发者通过自然语言指令引导 AI Agent，审查结果并指导修改。Omniverse 库提供基于 GPU 加速的物理、渲染及传感器模拟功能。
浏览以下项目，观察 GPT-6 Astra 等前沿 AI 模型的实战表现。后续还将有更多来自 NVIDIA 团队及整个生态系统开发者的新案例陆续上线。
为仓库环境构建人形机器人模拟器 🔗
https://blogs.nvidia.com/wp-content/uploads/2026/10/Humanoid-Warehouse.mp4以第一人称和第三人称视角，探索基于物理的人形机器人游戏化控制体验。
在实现仓库任务自动化之前，开发者需要一个交互式模拟环境来探索任务行为并评估执行过程。NVIDIA Omniverse 产品经理 Frank DeLise 利用 Astra，将一个 SimReady 仓库和人形机器人转化为支持第一及第三人称视角的交互式模拟器。
DeLise 引导 Astra 连接物理（ovphysx）、场景更新（ovstage）、渲染（ovrtx）和用户界面（ovui）等NVIDIA Omniverse 库。他还将 Astra 与 SimReady（simready-foundation）结合，在模拟环境中创建物理场景。随后，Astra 生成了动画和应用代码，将这些功能整合在一起。
了解如何使用前沿 AI 模型和 NVIDIA Omniverse 库准备并验证 SimReady 机器人资产。
构建自动驾驶测试工作流 🔗
https://blogs.nvidia.com/wp-content/uploads/2026/10/zero-to-alpamayo-under-10MB.mp4场景、传感器或驾驶模型的微小变更，都可能会对自动驾驶仿真产生重大影响。NVIDIA 仿真技术团队经理 Doyub Kim 让 Astra 构建了 Zero to Alpamayo——一个基于旧金山 Market Street 的可复用仿真环境。
Kim 指导 Astra 先规划工作流，然后分阶段接入资产创建、交通流、Omniverse RTX 传感器仿真和Alpamayo 驾驶模块，并对每个集成环节进行验证。由此产生的原型成为一块试验田，用于对比不同模型，并追溯场景或传感器变化如何影响下游驾驶行为。此外，一项独立的 Cosmos3-Nano 实验通过改变录制仿真视频中的天气和光照条件，让 Kim 得以对比驾驶模型在相同场景、不同环境条件下的响应差异。
利用传感器差异创建和优化数字孪生 🔗
https://blogs.nvidia.com/wp-content/uploads/2026/10/0_00-0_004-hubble_rivermark_Real_Sim_no_loop.mp4对比录制与仿真得到的摄像头及 LiDAR 输出，能够为开发者提供基于关键绩效指标（KPI）的反馈，从而帮助其优化场景细节。
要测试机器人和自动驾驶汽车，开发者需要了解仿真传感器与真实传感器的匹配程度。NVIDIA 负责 RTX 传感器验证的 Ashley Reid 让 Astra 和 Claude Fable 5 智能体将 ovrtx 的相机和原始 LiDAR 输出与录制数据进行对比。这些智能体从零开始创建了两个数字孪生，并优化了两个已有的数字孪生。
在大约三天时间里，Reid 引导了一套迭代工作流：智能体测量差异、创建或修改 OpenUSD 场景并检查结果。修改内容涉及缺失的物体、几何结构和材质，是否合格则取决于相机和 LiDAR 指标。这为开发者提供了一种方法：利用测量到的差异来指导场景的创建和改进。
首先用 ovrtx 最小化 Python 示例渲染一个 OpenUSD 场景，然后定义一个传感器度量来与录制数据进行比较。
机器人奥运会：用仿真测试机器人技能 🔗
教机器人新动作，就要验证这些动作在物理约束下是否可行。NVIDIA Omniverse 工程与产品负责人 Tae Kim 用体育视频和自然语言指令指导 Astra 构建了 Robo Olympics，这是一个实验性项目，用于测试仿真 Unitree G1 人形机器人完成体育动作的表现。
在 Kim 的指导下，Astra 构建了控制器，并通过物理试验不断优化。Newton Physics Engine 负责仿真行为，开源的 NVIDIA Warp 框架加速计算，ovrtx 渲染场景和虚拟相机图像。在一次实验中，机器人在 100 次仿真试验中成功跨越了 64 次单栏。这些试验为 Kim 改进机器人的时机把控和控制提供了反馈。
观看 Kim 用 Astra 和 NVIDIA Omniverse 库探索构建仿真。
用计算机辅助设计与仿真测试机器人拆解 🔗
在机器人执行拆解作业之前，开发者必须确认其工具能否触及并移除相关部件。NVIDIA 的 OpenUSD 高级产品经理 Jens Jebens 指导 Astra 在 PTC Onshape 中对汽车悬挂系统进行建模，并在 NVIDIA Isaac Sim 中完成配置。
Jebens 借助 Astra 探索了计算机辅助设计以及基于仿真优化的机器人工具迭代方案。该智能体测量了可用空间，并设计了一把机器人能够伸到悬挂螺栓处使用的扳手。Jebens 在仿真环境中成功完成了悬挂部件的拆除。这一过程将设计与工具决策同拆解结果直接关联，为训练机器人策略提供了起点。
可查阅Onshape 导入指南。
把国际空间站带入浏览器 🔗
将 3D 模型转化为应用程序，需要整合资源、实时数据及用户界面。NVIDIA 的工程总监 Nic Johns 提示 Astra 将 NASA 的资源组装成一个带有遥测数据的OpenUSD 国际空间站模型。Johns 仅用一条提示词就构建了该应用，随后又追加一条提示词，将场景调整至地球的日间面，以便能看到地球。
该工作流使用 Blender 进行资源准备，并利用Omniverse 库实现渲染（ovrtx）、场景运行时（ovstage）和流式传输（ovstream）。该应用将 3D 模型与运营数据引入浏览器，Johns 通过提示词和纠错来引导其开发过程。
将拍摄的房间转化为测试环境 🔗
在测试交互之前，数字化重建的房间必须具备可编辑的对象和精确的物理行为。英伟达 Isaac 工程应用团队的 Chirag Majithia 指导 Astra 将立体相机拍摄的画面转化为一个可编辑的 OpenUSD 工作室。
该工作流结合了 PyCuSFM、FoundationStereo 和 nvblox 进行重建，并由用户审核来引导对象的选择与放置。Astra 整合了生成及通过 Blender 制作素材，并利用 USD Content Agents 配置对象在仿真中的运动与交互方式。Isaac Sim 的测试结果用于指导门和抽屉等对象的碰撞及接触修正。该工作室将捕获的几何形状与交互测试相连接，使缺陷排查和对象行为检查变得更加直观。
有仿真创意？探索 NVIDIA Omniverse 库，开始使用 AI Agent 构建。