← 文章 / AI技术
NVIDIA 开发者博客 3天前 · 2026-11-19 02:18:49 · 6 阅读

NVIDIA Cosmos:仅需两个提示词即可构建可用于训练的物理 AI 数据集

世界模型的准确性始于高质量、多样化的训练数据集。但捕捉罕见缺陷、夜间事故等具有挑战性的场景既费钱又耗时。而要把原始数据转化为可用于训练的数据集,复杂度会更高,尤其是当数据的整理、标注、生成和评估依赖割裂的工具和手动流程时。

NVIDIA 技术正帮助开发者更轻松地大规模构建高质量、多样化的物理 AI 训练数据集。NVIDIA Cosmos 是一个开放平台,提供用于世界模型开发的前沿模型、数据集、框架和技能。作为该平台的一部分,NVIDIA Cosmos Data Factory(CDF)包含五个云原生蓝图和六个可组合的技能,用于加速数据整理、处理和合成数据生成(SDG)。还可以利用前沿 AI agents 来编排这些蓝图,实现只需输入提示词即可生成数据,无需人工干预。

本文将带你了解如何在 Cosmos 中仅用两个提示词,就完成数据集的整理与增强,或为物理 AI 模型训练创建异常事件,并展示五个不同的应用场景。

视频 1. 了解如何借助 coding agent,只用几条提示词就把一张仓库图片变成带标注的合成跌倒事件视频

设置并配置 Cosmos 蓝图与技能:提示词 1

Cosmos Data Factory 包含五个面向常见任务的参考蓝图。这五个蓝图都通过 CDF Orchestration 核心技能运行,该技能负责协调工作流步骤、部署所需服务,并管理集群上的任务执行。

只需在 coding agent 中输入以下提示词即可完成设置:

提示词示例:
"Clone the CDF Orchestration repository, then run orchestration preflight and setup."

Preflight 会检查当前环境,若缺少必要组件会予以标记,整个过程不会对环境进行任何更改。检查通过后,setup 命令将配置环境以支持运行相应蓝图。

运行用于训练数据用例的蓝图:提示词 2

本部分展示了五种运行蓝图的数据训练用例,并附有示例提示词:

  • 为自动驾驶(AV)训练生成驾驶场景
  • 增强图像属性以用于检索与重识别
  • 在天气、光照和环境等方面增强视频数据
  • 为模型训练生成稀有事件视频
  • 为视觉检测生成缺陷图像

如果你已有现成的视频或图像,需要对其进行筛选并增加多样性,本部分的第一种用例涵盖了生成驾驶场景、改变人物图像中的服饰属性,以及在不同天气、光照和环境条件下转换视频。增强类用例旨在扩展现有数据的多样性,但某些训练缺口需要通过创建全新的事件或缺陷来填补。

你的模型可能需要识别泄漏的产品或有缺陷的电路板,但数据集中可能缺少相关样本。等待收集到足够多的罕见案例可能耗时数年,而人工模拟这些场景既危险又昂贵。最后两种用例介绍了如何从图像或 3D 资产生成稀有事件视频和缺陷图像,以填补这些数据缺口。

用例 1:为自动驾驶训练生成驾驶场景

自动驾驶数据集生成蓝图 可协助你从大型驾驶场景数据库中检索数据,并为下游模型的训练与验证任务生成新颖数据集。NVIDIA Cosmos Curator 负责提取视频数据输入集的元数据,NVIDIA Cosmos Dataset Search 则通过这些嵌入向量检索相关视频。检索到的视频将被送入 NVIDIA Cosmos3-Super-Image2Video 进行风格迁移,随后由 Cosmos Evaluator 检查生成视频在物理层面上的合理性。

示例提示词:
“检索与输入视频 video.mp4 相似的驾驶场景,在保持布局和运动不变的前提下将其转换为雨天、雪天和雾天效果,并检查物理合理性。”
Animated workflow showing an AI agent retrieving driving scenes, generating weather and lighting variations, and checking physical plausibility, with retries before exporting the graded video dataset.
图 1. AI 智能体编排 AV 数据集生成流程:为驾驶场景添加多种天气和光照变化,并检查物理合理性

用例 2:为搜索与重识别增强图像属性

Image Attribute Augmentation 参考蓝图 可以对人物裁剪图生成受控属性变化(如服装类型、配饰、颜色)的变体。LLM 会把你选定的属性转换成结构化的修改提示词,用于生成源图像的增强变体,再由 Cosmos Evaluator 确认所请求的服装属性确实生效。随后,蓝图会自动为结果标注服装属性和搜索查询,用于 person search 和重识别任务。

示例提示词:
“增强 <input-bucket> 中的人物裁剪图,每人生成三个服装变体,结果输出到 <output-bucket>。”
Animated workflow showing an AI agent changing clothing in person images, verifying garment types and colors, and exporting outfit variations with attribute labels and search queries.
图 2. AI 智能体为人物图像生成服装变体,校验服装一致性,并标注服装属性

用例 3:增强天气、光照和环境维度上的视频

视频数据增强参考蓝图可在保持场景结构不变的前提下,模拟不同天气、光照及环境条件,将现有视频进行变换。视觉语言模型(VLM)会描述源视频内容,并将其与你指定的条件结合,生成结构化提示词,随后 Cosmos3-Nano 利用该提示词生成增强后的视频变体。

Cosmos Evaluator 会对生成的每个片段进行检查:确保没有源视频中不存在的运动伪影,确认指定条件确实呈现,并评估运动是否符合物理规律。接着,该蓝图自动为源视频和生成视频添加检测、跟踪及字幕标签,最终提供可直接用于训练的完整数据集。

提示词示例:
"对 <input-bucket> 中的视频执行数据增强,分别生成黄色光照、昏暗光照和红桌面的 3 种变体。将输出写入 <output-bucket>。"
动态对比展示机器人在黄色光照、昏暗光照及红桌面条件下的操作过程。AI 代理检查生成结果、重试不同变体,并导出包含立方体掩码、轨迹及字幕的视频。
图 3:AI 代理协调生成机器人操作场景的视觉变体,改变光照及桌面外观,同时校验物理合理性

用例 4:生成稀有事件视频用于模型训练

事件视频生成参考蓝图利用源图像生成火灾、跌倒或盗窃等稀有事件视频。VLM 将场景描述与指定事件结合,生成结构化提示词。Cosmos3-Super-Image2Video 据此生成视频片段,同时保留源图像的视角与布局。

Cosmos Evaluator 会检查事件是否出现、运动是否符合物理规律,并对未通过的片段自动重试。通过审核的片段会被自动打上检测框、跟踪轨迹、字幕描述和语义标注,方便后续训练使用。

提示词示例:
"对 <input-bucket> 中的图片运行 Event Video Generation blueprint,生成 3 个片段:正常交通、车辆抛锚,以及路口碰撞。输出写入 <output-bucket>。"
动画演示:将超市场景转化为地面洒漏、纸箱掉落、货架冒烟等视频,随后进行合理性检查、人员跟踪和自动标注。
图 4. AI agent 基于超市场景编排零售事件生成,产出地面洒漏、纸箱掉落、货架冒烟等内容,并进行质量审核和标注

用例 5:生成缺陷图像用于视觉检测

Defect Image Generation reference blueprint 可以基于干净的检测图像或 3D USD 零件资产(如电路板、玻璃面板、金属表面)生成缺陷样本。对于 3D 资产,NVIDIA Isaac Sim 负责渲染检测图像和掩膜,Qwen-Image-Edit 则生成逼真的干净参考图,即所谓的 golden images(黄金图像)。

Cosmos 3 Super 根据这些图像、缺陷掩膜以及你指定的缺陷类型来生成缺陷,同时保持零件其余部分不变。它已针对印刷电路板(PCB)、玻璃和金属完成微调,其他场景可通过额外的微调技能扩展。最终你会得到黄金图像、合成缺陷图像,以及记录每个结果来源和生成参数的清单文件。

提示词示例:
"运行 Defect Image Generation blueprint,为 <input-bucket> 中的图像生成平移结构缺陷,覆盖整块电路板。输出写入 <output-bucket>。"
动画演示:使用 3D 电路板资产生成元件旋转缺陷、用真实检测图像生成多焊料缺陷,然后导出带边界框、分割掩码和来源记录的标注图像。
图 5. AI agent 编排 PCB 缺陷数据准备流程:为元件旋转缺陷选择 USD 电路板资产,为多焊料示例选择真实检测图像

如何使用核心 agent 技能和工具完成筛选、检索、标注等具体任务

上一节介绍的蓝图由六项核心 agent 技能构成:Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation 和 Orchestration。这些技能既可以单独使用,也可以组合起来,围绕你自己的数据和目标搭建工作流。

  • Auto Labeling:将原始视频和图像转化为带检测、跟踪、描述和场景理解的标注数据集。
  • AnomalyGen:从少量样本生成逼真的缺陷图像及掩码,用于视觉检测。
  • Augmentation:借助 Cosmos 模型为视频和图像生成视觉变体,覆盖难以实拍的条件。
  • Curation and Retrieval:使用 Cosmos Curator 和 Cosmos Dataset Search 在大规模素材中查找片段和图像。
  • Simulation: 通过 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且完整标注的图像。
  • 编排:在集群上运行参考蓝图,部署并扩缩各蓝图所需的服务。
示例提示词:
克隆自动标注仓库 https://github.com/NVIDIA/cdf-auto-labeling/tree/main。对我的 <input-bucket> 中的视频执行自动标注,输出保存到 <output-bucket>。VLM 和 LLM 使用部署在 <endpoint> 的本地模型。
动画演示:AI agent 通过目标跟踪、密集描述、视觉问答和推理,将路口碰撞视频转化为结构化训练数据。
图 6. AI agent 通过目标跟踪、密集描述、视觉问答和推理来编排视频标注

对于以数据筛选和检索为核心的工作流,可以使用 Cosmos Curator 处理原始视频和多模态数据并自动标注,再用 Cosmos Dataset Search 在大规模数据集中定位特定的训练场景。Cosmos Curator 现已支持多摄像头视频、IMU 和 GPS 输入,其传感器库还初步支持了 lidar。可复用的 Python 处理组件和基于 Slurm 的 Managed Ray 编排,帮助团队打通传感器观测数据、验证筛选策略,并充分利用闲置 GPU 算力。

后续计划扩展更多 lidar 设备、雷达及其他传感器类型。Cosmos Dataset Search 已在 Apache 2.0 许可下开源,通过多 embedding 检索和自适应 agentic 重排序(抢先体验)融合元数据、场景语义、空间关系和时间行为。其模块化 API 和 agent 技能可以检索相关视频片段,用于构建训练数据集或配合上述增强蓝图使用。

训练数据生成速度提升 60 倍,成本降低 45 倍

Cosmos Data Factory 的 skills 和 blueprints 把难以采集的训练数据变成你自己可控的计算任务。NVIDIA 团队在配备八块 NVIDIA RTX PRO 6000 Blackwell Series GPU 的云服务器上实测了每日吞吐量(约每台服务器每小时 40 美元,每天 960 美元),再用日成本除以产出量,估算出每个资产的成本。

  • 自动驾驶数据集生成:每天生成约 130 个边缘场景(edge-case)片段,每个片段的 GPU 计算成本约 2.66 美元,比在路上用车队采集一个场景(约 125 美元)便宜约 45 倍。
  • 图像属性增强:每天以 960 美元增强约 42,649 对已标注图像,合每对 0.023 美元,比第三方采购数据的均价 0.25 美元便宜约 10 倍。
  • 视频数据增强:每天增强约 305 个已标注片段,每个约 5 分钟的视频片段成本 3.15 美元,比我们购买第三方数据的均价 22 美元便宜约 7 倍。
  • 缺陷图像生成:把数据集组装时间从两个月缩短到一天,提速 60 倍。
  • 事件视频生成:每天生成约 384 个已标注片段,每个成本 2.50 美元、时长约 4 分钟,无需等待或重现真实的危险事件,就能获得火灾、打斗、跌倒等稀缺训练样本。

借助 Cosmos,训练数据的缺口变成了有明确计算预算的生成任务。注意,以上数字仅涵盖计算成本;源数据准备、环境搭建、agent 使用、存储和人工审核可能带来额外费用。

各组织使用 Cosmos 后报告了哪些成果和预期效果?

多家组织正在利用 Cosmos 的 skills 和 blueprints,在自动驾驶、视觉检测和机器人领域提升测试、检测和搜索的准确性,同时降低成本和工作量。

开始使用 NVIDIA Cosmos

想加速应用的数据整理、处理和合成数据生成?请查看 NVIDIA Cosmos Data Factory 蓝图和可组合技能。选择一个符合你使用场景的蓝图,按照设置指南操作,让你的 AI agent 用自己的数据运行工作流,并通过单独的技能定制流水线,生成高质量的标注训练数据集。

想了解更多?欢迎参加 11 月 19 日的直播Build Training-Ready Datasets in Two Prompts,学习如何使用 Cosmos 为自动驾驶、机器人和视觉 AI agent 整理和扩充数据集。直播将由 Voxel51 和 Encord 联合呈现,展示 Porsche 如何通过 Voxel51 平台使用 Cosmos Data Factory,以及 Encord 与 ANYbotics 的合作案例。

原始来源: NVIDIA 开发者博客

评论 (0)