← 文章 / AI技术
NVIDIA 博客 2小时前 · 2026-10-22 13:54:25 · 8 阅读

NVIDIA Cosmos 开放世界模型训练、评估与部署新工具

为帮助开发者快速构建 world models——让 physical AI 系统能够理解并模拟真实世界的模型——NVIDIA 为 Cosmos 平台新增了训练工具、仿真 checkpoint 以及 Cosmos Data Factory 蓝图。

NVIDIA Cosmos 平台在六个不同的开源模型排行榜上均位列前五,为 world model 开发者提供前沿开源模型,以及数据、训练与优化工具和配方,帮助其扩展训练数据规模、适配模型、测试行为,并在部署前优化性能。

构建更优质的训练数据

构建 world models 的起点是多模态、多感官数据。

NVIDIA Cosmos Data Factory 汇集了一整套工具与技能,可大规模地为 physical AI 训练进行数据标注、整理、增强和评估。Cosmos Curator 是一款用于整理视频训练数据集的 GPU 加速方案,现已支持多模态多感官输入及处理模块。

阅读 NVIDIA 在欧洲发布的全部公告

Cosmos Data Factory 现已提供以下五个云原生蓝图,可通过 GitHub、Microsoft Azure、Nebius 和 CoreWeave 获取:

  • 自动驾驶数据集生成:对驾驶数据进行整理与标注,并添加难以采集场景的合成样本,以扩大训练覆盖范围。
  • 图像属性增强:改变物体外观变化,提升图像搜索效果。
  • 事件视频生成:将静态图像转化为罕见或不安全事件的合成视频。
  • 缺陷图像生成:为检测模型生成印刷电路板、金属和玻璃缺陷图像。
  • 视频数据增强:在保持场景结构不变的情况下,修改现有视频的天气和光照效果。
https://blogs.nvidia.com/wp-content/uploads/2026/10/CDF-visual-Oct20.mp4

Cosmos Data Factory 利用智能体技能加速数据整理、处理和合成数据生成。

各大公司已经开始利用 Cosmos Data Factory 蓝图,加速其物理 AI 开发流程。

保时捷正在领导开发一个横跨大众集团各品牌的共享自动驾驶数据飞轮,通过 Microsoft Azure 上的 Voxel51 使用 Cosmos Data Factory。预计这将把重复的实地路测减少高达 90%,并将开发周期缩短高达 85%。

https://blogs.nvidia.com/wp-content/uploads/2026/10/Porche-Cosmos-Data-Factory.mp4

保时捷在 Voxel51 中搜索和增强自动驾驶视频数据,底层由 Cosmos Data Factory 提供支持。

ANYbotics 使用 Cosmos Data Factory 蓝图生成了超过 1,500 个合成视频片段,并借助 Encord 平台整理真实世界数据并验证输出结果,以训练其工业巡检机器人识别液体泄漏以及设施访问之间的其他变化。

https://blogs.nvidia.com/wp-content/uploads/2026/10/ANYbotics-Cosmos-Data-Factory.mp4

ANYbotics 使用由 NVIDIA Cosmos Data Factory 支持的 Encord 生成异常片段。

Ultralytics 是一家计算机视觉公司,他们使用真实图像和通过 Cosmos Data Factory 生成的针对性合成缺陷重新训练了其 YOLO 模型,提升了缺陷定位和召回率。

训练、适配和优化模型

在准备好训练数据后,开发者可以训练自己的架构,或者从一个预训练模型开始。

在 GTC 柏林大会上,NVIDIA 将 Cosmos Framework 的训练、优化和部署工具及方案以 agent 技能的形式,拓展至更多开放模型,并同步推出了 Cosmos 3,为世界模型构建者提供了一条从实验到部署的更高效路径。

开发者和 agent 现在可以通过微调和强化学习,适配 GR00T、Alpamayo、QWEN、Pi0.5 等其他兼容的 Hugging Face 开放模型,并通过蒸馏和量化优化模型,最终实现高性能推理部署。

Diagram of a model builder agent using skills and open model backbones to prepare data, train, fine-tune, apply reinforcement learning, and optimize world models for inference.
Cosmos Framework 是一个开放且模块化的框架,集成了模型训练与优化工具及技能,旨在加速世界模型的开发。

为开发专用于第一人称视角操作的世界模型,机器人研究实验室 MicroAGI 在人类操作物体的视频上对 Cosmos 3 进行了后训练,并将其 320 亿参数推理器蒸馏为 80 亿参数的 Nano 模型,且精度无损。

开发者可以针对特定环境和任务,在 Roboflow 上标注数据并对 Cosmos 3 进行后训练,随后将这些模型部署到 Roboflow 托管或本地部署的 NVIDIA GPU 上,从而将视频推理能力引入工厂和仓库。

测试策略并加速模型运行

除这些工具外,NVIDIA 也在持续推进 Cosmos 模型的基础技术演进。

全新的 Cosmos 3 Nano 模型变体 支持模拟场景,使开发者能够在可重复、难以捕捉、多视角多传感器等复杂环境中测试自主策略。配套代码允许开发者适配模型,在真实世界测试前,在交互式模拟中对自动驾驶和双手机器人策略进行训练与评估。

Cosmos 基于每个摄像头的起始图像、每路视角的简短描述、WSM 控制信号和一次 LiDAR 环境扫描来生成视频。
多视角、多传感器的视频数据生成,用于在闭环仿真中评估策略。

开发者可以使用更新后的 NVIDIA Cosmos 3 NIM 微服务部署 Cosmos 核心模型,在经过验证的配置下推理速度最高提升 2 倍且不损失质量,同时持续视频分析可实现亚秒级告警。

对于视觉 AI 开发者,全新 NVIDIA Metropolis 视频搜索与摘要(VSS)Blueprint 3.3 基于 Cosmos NIM 微服务构建,只需一个提示词即可生成高效的视频 AI 应用,帮助团队用同样的 GPU 多监控 40% 的视频流。

ADNOC 采用基于 Cosmos 和 NVIDIA Metropolis VSS Blueprint 构建的 Fogsphere MistIQ 智能体平台,实时检测 65 个场站的安全隐患。针对罕见事件,Fogsphere 还使用 Cosmos Data Factory 生成合成训练数据,无需实际布置危险场景即可提升检测能力。

https://blogs.nvidia.com/wp-content/uploads/2026/10/ADNOC-Cosmos.mp4

Cosmos 平台完全模块化且开放。开发者可以使用 Cosmos Data Factory 生成训练数据集,用 Cosmos Framework 训练和适配世界模型,再通过 NIM 微服务部署受支持的 Cosmos 模型。

阅读所有 NVIDIA 欧洲发布会新闻
原始来源: NVIDIA 博客

评论 (0)