NVIDIA Cosmos:仅需两个提示词即可构建可用于训练的物理 AI 数据集
世界模型的准确性始于高质量、多样化的训练数据集。但捕捉罕见缺陷、夜间事故等具有挑战性的场景既费钱又耗时。而要把原始数据转化为可用于训练的数据集,复杂度会更高,尤其是当数据的整理、标注、生成和评估依赖割裂的工具和手动流程时。
NVIDIA 技术正帮助开发者更轻松地大规模构建高质量、多样化的物理 AI 训练数据集。NVIDIA Cosmos 是一个开放平台,提供用于世界模型开发的前沿模型、数据集、框架和技能。作为该平台的一部分,NVIDIA Cosmos Data Factory(CDF)包含五个云原生蓝图和六个可组合的技能,用于加速数据整理、处理和合成数据生成(SDG)。还可以利用前沿 AI agents 来编排这些蓝图,实现只需输入提示词即可生成数据,无需人工干预。
本文将带你了解如何在 Cosmos 中仅用两个提示词,就完成数据集的整理与增强,或为物理 AI 模型训练创建异常事件,并展示五个不同的应用场景。
设置并配置 Cosmos 蓝图与技能:提示词 1
Cosmos Data Factory 包含五个面向常见任务的参考蓝图。这五个蓝图都通过 CDF Orchestration 核心技能运行,该技能负责协调工作流步骤、部署所需服务,并管理集群上的任务执行。
只需在 coding agent 中输入以下提示词即可完成设置:
提示词示例:"Clone the CDF Orchestration repository, then run orchestration preflight and setup." |
|---|
Preflight 会检查当前环境,若缺少必要组件会予以标记,整个过程不会对环境进行任何更改。检查通过后,setup 命令将配置环境以支持运行相应蓝图。
运行用于训练数据用例的蓝图:提示词 2
本部分展示了五种运行蓝图的数据训练用例,并附有示例提示词:
- 为自动驾驶(AV)训练生成驾驶场景
- 增强图像属性以用于检索与重识别
- 在天气、光照和环境等方面增强视频数据
- 为模型训练生成稀有事件视频
- 为视觉检测生成缺陷图像
如果你已有现成的视频或图像,需要对其进行筛选并增加多样性,本部分的第一种用例涵盖了生成驾驶场景、改变人物图像中的服饰属性,以及在不同天气、光照和环境条件下转换视频。增强类用例旨在扩展现有数据的多样性,但某些训练缺口需要通过创建全新的事件或缺陷来填补。
你的模型可能需要识别泄漏的产品或有缺陷的电路板,但数据集中可能缺少相关样本。等待收集到足够多的罕见案例可能耗时数年,而人工模拟这些场景既危险又昂贵。最后两种用例介绍了如何从图像或 3D 资产生成稀有事件视频和缺陷图像,以填补这些数据缺口。
用例 1:为自动驾驶训练生成驾驶场景
自动驾驶数据集生成蓝图 可协助你从大型驾驶场景数据库中检索数据,并为下游模型的训练与验证任务生成新颖数据集。NVIDIA Cosmos Curator 负责提取视频数据输入集的元数据,NVIDIA Cosmos Dataset Search 则通过这些嵌入向量检索相关视频。检索到的视频将被送入 NVIDIA Cosmos3-Super-Image2Video 进行风格迁移,随后由 Cosmos Evaluator 检查生成视频在物理层面上的合理性。
示例提示词:“检索与输入视频 video.mp4 相似的驾驶场景,在保持布局和运动不变的前提下将其转换为雨天、雪天和雾天效果,并检查物理合理性。” |
|---|
用例 2:为搜索与重识别增强图像属性
Image Attribute Augmentation 参考蓝图 可以对人物裁剪图生成受控属性变化(如服装类型、配饰、颜色)的变体。LLM 会把你选定的属性转换成结构化的修改提示词,用于生成源图像的增强变体,再由 Cosmos Evaluator 确认所请求的服装属性确实生效。随后,蓝图会自动为结果标注服装属性和搜索查询,用于 person search 和重识别任务。
示例提示词:“增强 <input-bucket> 中的人物裁剪图,每人生成三个服装变体,结果输出到 <output-bucket>。” |
|---|
用例 3:增强天气、光照和环境维度上的视频
视频数据增强参考蓝图可在保持场景结构不变的前提下,模拟不同天气、光照及环境条件,将现有视频进行变换。视觉语言模型(VLM)会描述源视频内容,并将其与你指定的条件结合,生成结构化提示词,随后 Cosmos3-Nano 利用该提示词生成增强后的视频变体。
Cosmos Evaluator 会对生成的每个片段进行检查:确保没有源视频中不存在的运动伪影,确认指定条件确实呈现,并评估运动是否符合物理规律。接着,该蓝图自动为源视频和生成视频添加检测、跟踪及字幕标签,最终提供可直接用于训练的完整数据集。
提示词示例: "对 <input-bucket> 中的视频执行数据增强,分别生成黄色光照、昏暗光照和红桌面的 3 种变体。将输出写入 <output-bucket>。" |
|---|
用例 4:生成稀有事件视频用于模型训练
事件视频生成参考蓝图利用源图像生成火灾、跌倒或盗窃等稀有事件视频。VLM 将场景描述与指定事件结合,生成结构化提示词。Cosmos3-Super-Image2Video 据此生成视频片段,同时保留源图像的视角与布局。
Cosmos Evaluator 会检查事件是否出现、运动是否符合物理规律,并对未通过的片段自动重试。通过审核的片段会被自动打上检测框、跟踪轨迹、字幕描述和语义标注,方便后续训练使用。
提示词示例:"对 <input-bucket> 中的图片运行 Event Video Generation blueprint,生成 3 个片段:正常交通、车辆抛锚,以及路口碰撞。输出写入 <output-bucket>。" |
|---|
用例 5:生成缺陷图像用于视觉检测
Defect Image Generation reference blueprint 可以基于干净的检测图像或 3D USD 零件资产(如电路板、玻璃面板、金属表面)生成缺陷样本。对于 3D 资产,NVIDIA Isaac Sim 负责渲染检测图像和掩膜,Qwen-Image-Edit 则生成逼真的干净参考图,即所谓的 golden images(黄金图像)。
Cosmos 3 Super 根据这些图像、缺陷掩膜以及你指定的缺陷类型来生成缺陷,同时保持零件其余部分不变。它已针对印刷电路板(PCB)、玻璃和金属完成微调,其他场景可通过额外的微调技能扩展。最终你会得到黄金图像、合成缺陷图像,以及记录每个结果来源和生成参数的清单文件。
提示词示例:"运行 Defect Image Generation blueprint,为 <input-bucket> 中的图像生成平移结构缺陷,覆盖整块电路板。输出写入 <output-bucket>。" |
|---|
如何使用核心 agent 技能和工具完成筛选、检索、标注等具体任务
上一节介绍的蓝图由六项核心 agent 技能构成:Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation 和 Orchestration。这些技能既可以单独使用,也可以组合起来,围绕你自己的数据和目标搭建工作流。
- Auto Labeling:将原始视频和图像转化为带检测、跟踪、描述和场景理解的标注数据集。
- AnomalyGen:从少量样本生成逼真的缺陷图像及掩码,用于视觉检测。
- Augmentation:借助 Cosmos 模型为视频和图像生成视觉变体,覆盖难以实拍的条件。
- Curation and Retrieval:使用 Cosmos Curator 和 Cosmos Dataset Search 在大规模素材中查找片段和图像。
- Simulation: 通过 Isaac Sim 和 Omniverse Replicator 从 3D 场景渲染逼真且完整标注的图像。
- 编排:在集群上运行参考蓝图,部署并扩缩各蓝图所需的服务。
示例提示词:克隆自动标注仓库 https://github.com/NVIDIA/cdf-auto-labeling/tree/main。对我的 <input-bucket> 中的视频执行自动标注,输出保存到 <output-bucket>。VLM 和 LLM 使用部署在 <endpoint> 的本地模型。 |
|---|
对于以数据筛选和检索为核心的工作流,可以使用 Cosmos Curator 处理原始视频和多模态数据并自动标注,再用 Cosmos Dataset Search 在大规模数据集中定位特定的训练场景。Cosmos Curator 现已支持多摄像头视频、IMU 和 GPS 输入,其传感器库还初步支持了 lidar。可复用的 Python 处理组件和基于 Slurm 的 Managed Ray 编排,帮助团队打通传感器观测数据、验证筛选策略,并充分利用闲置 GPU 算力。
后续计划扩展更多 lidar 设备、雷达及其他传感器类型。Cosmos Dataset Search 已在 Apache 2.0 许可下开源,通过多 embedding 检索和自适应 agentic 重排序(抢先体验)融合元数据、场景语义、空间关系和时间行为。其模块化 API 和 agent 技能可以检索相关视频片段,用于构建训练数据集或配合上述增强蓝图使用。
训练数据生成速度提升 60 倍,成本降低 45 倍
Cosmos Data Factory 的 skills 和 blueprints 把难以采集的训练数据变成你自己可控的计算任务。NVIDIA 团队在配备八块 NVIDIA RTX PRO 6000 Blackwell Series GPU 的云服务器上实测了每日吞吐量(约每台服务器每小时 40 美元,每天 960 美元),再用日成本除以产出量,估算出每个资产的成本。
- 自动驾驶数据集生成:每天生成约 130 个边缘场景(edge-case)片段,每个片段的 GPU 计算成本约 2.66 美元,比在路上用车队采集一个场景(约 125 美元)便宜约 45 倍。
- 图像属性增强:每天以 960 美元增强约 42,649 对已标注图像,合每对 0.023 美元,比第三方采购数据的均价 0.25 美元便宜约 10 倍。
- 视频数据增强:每天增强约 305 个已标注片段,每个约 5 分钟的视频片段成本 3.15 美元,比我们购买第三方数据的均价 22 美元便宜约 7 倍。
- 缺陷图像生成:把数据集组装时间从两个月缩短到一天,提速 60 倍。
- 事件视频生成:每天生成约 384 个已标注片段,每个成本 2.50 美元、时长约 4 分钟,无需等待或重现真实的危险事件,就能获得火灾、打斗、跌倒等稀缺训练样本。
借助 Cosmos,训练数据的缺口变成了有明确计算预算的生成任务。注意,以上数字仅涵盖计算成本;源数据准备、环境搭建、agent 使用、存储和人工审核可能带来额外费用。
各组织使用 Cosmos 后报告了哪些成果和预期效果?
多家组织正在利用 Cosmos 的 skills 和 blueprints,在自动驾驶、视觉检测和机器人领域提升测试、检测和搜索的准确性,同时降低成本和工作量。
- 在一处海上油气设施中,借助合成数据将真实场景异常的召回率提升了最多 24%,数据生成成本的预计回报率约 1400 倍。
- 在自动光学检测(AOI)程序生成中,人工工程量最多可减少 85%,误报减少 40%。
- 减少重复的物理测试驾驶,最多可减少 90%,AI 回归测试周期预计最多缩短 85%。
- 使用 Cosmos Curator,不到两周即可上市,而自建同等流水线预计需要六个月。
开始使用 NVIDIA Cosmos
想加速应用的数据整理、处理和合成数据生成?请查看 NVIDIA Cosmos Data Factory 蓝图和可组合技能。选择一个符合你使用场景的蓝图,按照设置指南操作,让你的 AI agent 用自己的数据运行工作流,并通过单独的技能定制流水线,生成高质量的标注训练数据集。
想了解更多?欢迎参加 11 月 19 日的直播Build Training-Ready Datasets in Two Prompts,学习如何使用 Cosmos 为自动驾驶、机器人和视觉 AI agent 整理和扩充数据集。直播将由 Voxel51 和 Encord 联合呈现,展示 Porsche 如何通过 Voxel51 平台使用 Cosmos Data Factory,以及 Encord 与 ANYbotics 的合作案例。