在 NVIDIA Cosmos 里,用两条提示词构建可直接训练的 Physical AI 数据集
世界模型的准确度,起点是高质量、多样化的训练数据。可缺陷、夜间事故这类稀有场景,收集起来既贵又慢。把原始数据变成"能直接训练"的数据集还会再加一层复杂度——尤其是整理、标注、生成、评估各用一套互不相连的工具、中间靠手工串的时候。
英伟达想解决的就是这一段。NVIDIA Cosmos 是一个开放平台,包含给世界模型开发用的前沿模型、数据集、框架和 skills。作为其中一部分,Cosmos Data Factory(CDF) 是一组 5 个云原生 blueprint + 6 个可组合 skill,用来加速数据整理、处理和合成数据生成(SDG)。前沿 AI agent 可以被用来编排这些 blueprint —— 也就是"提示词进、数据出",不需要人一路盯着。
本文带你走一遍:怎么在 Cosmos 里用两条提示词整理与增强数据集,或者制造异常事件,给 Physical AI 模型训练用。覆盖五个不同的用例。
原文 Video 1:用 coding agent 把一张仓库照片变成带标注的坠落事件合成视频,只需几条提示词(视频见原文)。
配置 Cosmos blueprint 与 skill:提示词 1
Cosmos Data Factory 里为常见任务准备了五个参考 blueprint。五个 blueprint 都跑在 CDF Orchestration 这个核心 skill 上——它负责协调工作流步骤、部署所需服务、在你自己的集群上管理执行。
要把它装起来,在 coding agent 里输入这条提示词:
示例提示词:"Clone the CDF Orchestration repository, then run orchestration preflight and setup." (克隆 CDF Orchestration 仓库,然后跑编排的环境预检与安装。)
preflight 会在不改动任何东西的前提下检查你的环境,把缺失项标出来。这些检查通过之后,setup 才会把环境准备好去跑 blueprint。
为你的训练数据用例跑 blueprint:提示词 2
这一节是五个训练数据用例,以及各自的示例提示词:
- 为自动驾驶(AV)训练生成驾驶场景
- 为搜索与重识别增强图像属性
- 跨天气、光照与环境做视频增强
- 为模型训练生成稀有事件视频
- 为视觉检测生成缺陷图像
如果你手上已经有素材或图像,只是需要整理并增加多样性,那么本节第一组用例就够:生成驾驶场景、改变人像上的着装属性、把视频转换到不同天气/光照/环境条件下。增强类用例扩大的是已有数据的多样性;但有些训练缺口需要凭空造出新的事件或缺陷。
你的模型也许需要认出漏液的产品或坏掉的电路板,而数据集里几乎没有、甚至一条都没有。等攒够稀有案例可能要几年,人为布置这些场景又危险又贵。最后两个用例就是从图像或 3D 资产生成稀有事件视频与缺陷图像,把这些缺口补上。
用例 1:为 AV 训练生成驾驶场景
Autonomous Vehicle Dataset Generation blueprint 帮你在庞大的驾驶场景库里检索,并生成新的数据集给下游训练与验证用。NVIDIA Cosmos Curator 为输入的 video 数据集抽取元数据,NVIDIA Cosmos Dataset Search 通过这些 embedding 找到相关视频。检索到的视频送进 Cosmos3-Super-Image2Video 做风格迁移,再由 Cosmos Evaluator 检查生成视频在物理上是否合理。
示例提示词:"Search for driving scenes similar to our input video.mp4, transform them into rainy, snowy, and foggy while preserving layout and motion, and check physical plausibility."
图 1(原为动图):从左上"corner case 场景"到右侧 3×3 合成驾驶视频,底部是本次调用的四个 skill(Curation & Retrieval、Augmentation、Cosmos Evaluator、Orchestration)。
用例 2:为搜索与重识别增强图像属性
Image Attribute Augmentation 参考 blueprint 为人像裁切图生成变体,属性变化是可控的:衣服类型、配饰、颜色。一个 LLM 把你选定的属性变成结构化的修改提示词,用来生成源图像的增强变体。Cosmos Evaluator 确认要求的着装属性确实出现了;blueprint 随后自动给结果打上服装属性标签与搜索 query,用于人员搜索与重识别。
示例提示词:"Augment the person crops in , three clothing variants per person, and write the output to ."
图 2(原为动图):左侧是核验通过的图像与属性标签,右侧是 bundle_attributes.json 与生成的搜索 query,底部三个 skill 亮起。
用例 3:跨天气、光照与环境做视频增强
Video Data Augmentation 参考 blueprint 把你已有的素材转换到不同天气、光照和环境条件下,同时保住场景结构。一个视觉语言模型(VLM)先描述你的源视频,再把它和你要求的条件合并成结构化提示词,Cosmos3-Nano 用它生成增强后的变体。
Cosmos Evaluator 会逐条检查生成的片段:有没有源视频里不存在的运动伪影、你要求的条件是否真的出现了、运动在物理上是否合理。接着 blueprint 会给源视频和生成视频都自动打标注——检测、跟踪、caption,然后交给你一个可直接训练的数据集。
示例提示词:"Run video data augmentation on the videos in , create 3 augmentations for yellow lighting, dim lighting and red table. Write the output to ."
图 3(原为动图):左侧是增强后的黄光片段与立方体的 mask、跟踪框,右侧是生成的 mcq.json 与 objects.json 片段。
用例 4:为模型训练生成稀有事件视频
Event Video Generation 参考 blueprint 用一张源图像造出稀有事件的视频,比如起火、跌倒、店铺盗窃。一个 VLM 把它对场景的描述和你要求的事件合并成结构化提示词;Cosmos3-Super-Image2Video 生成片段,同时保留源视角与布景布局。
Cosmos Evaluator 检查事件是否出现、运动看起来是否物理合理,失败的片段会重试。通过的片段会被自动打上检测、跟踪、caption 和语义标注,供下游训练使用。
示例提示词:"Run the Event Video Generation blueprint on the image in to generate 3 clips: normal traffic, stalled vehicle, and collision at the intersection. Write the output to ."
图 4(原为动图):左侧是带人体跟踪框与属性标签的卖场画面,右侧是生成的 contextual/objects.json 与 person_attribute_search/pas.json。
用例 5:为视觉检测生成缺陷图像
Defect Image Generation 参考 blueprint 从干净的检测图像、或者零件的 3D USD 资产(电路板、玻璃面板、金属表面等)生成缺陷样本。对 3D 资产,NVIDIA Isaac Sim 渲染出检测图像与 mask,Qwen-Image-Edit 生成写实的干净参考图像,也就是所谓的 golden image。
Cosmos 3 Super 用这些图像、缺陷 mask 和你要求的缺陷类型来生成缺陷,同时保住零件周围的部分。它出厂时已针对印制电路板(PCB)、玻璃、金属做过微调,其他场景有额外的微调 skill 可用。你会拿到 golden image、合成缺陷图像,以及把每条结果追溯回它的来源与生成设置的 manifest。
示例提示词:"Run the Defect Image Generation blueprint and generate shift structural defects for images in with full board coverage. Write the output to ."
图 5(原为动图):左侧是真实的锡膏过亮照片与异常 mask,右侧是三步判断(定位焊盘、提出多锡 mask、判定放置),底部亮着 Simulation / Augmentation / AnomalyGen / Auto-label 四个 skill。
怎么用核心 skill 与工具做整理、检索、标注这类具体活
上一节的 blueprint 是由六个核心 agent skill 搭成的:Auto Labeling、AnomalyGen、Augmentation、Curation and Retrieval、Simulation、Orchestration。这些 skill 可以单独用,也可以组合成围绕你自己数据和目标的工作流。
- Auto Labeling:把原始视频和图像变成带标注的数据集——检测、跟踪、caption 与场景理解。
- AnomalyGen:从少量样本造出写实的缺陷图像,带 mask,用于视觉检测。
- Augmentation:用 Cosmos 模型给你的视频和图像生成视觉变体,覆盖你拍不到的条件。
- Curation and Retrieval:在大规模集合里找片段和图像,用的是 Cosmos Curator 与 Cosmos Dataset Search。
- Simulation:用 Isaac Sim 与 Omniverse Replicator 从 3D 场景渲染出照片级、标注齐全的图像。
- Orchestration:在你的集群上跑参考 blueprint,部署每个 blueprint 需要的服务并做伸缩。
示例提示词:Clone the auto labeling repo https://github.com/NVIDIA/cdf-auto-labeling/tree/main. Perform video auto-labeling to label my videos at . Save outputs to . Use the locally deployed model at for VLM and LLM.
图 6(原为动图):视频标注流水线的运行画面。
如果工作流偏整理与检索:用 Cosmos Curator 处理并自动标注原始视频与多模态数据,用 Cosmos Dataset Search 在超大数据集里找到目标训练场景。Cosmos Curator 现在支持多摄像头视频、IMU 与 GPS 输入,传感器库里还有初步的 lidar 支持。可复用的 Python 处理组件,加上跑在 Slurm 上的 Managed Ray,能帮团队把传感器观测串起来、试不同的整理策略、并用上空闲的 GPU 算力。
计划中的扩展包括更多激光雷达设备、毫米波雷达和其他传感器类型。Cosmos Dataset Search 现已按 Apache 2.0 开源,它把元数据、场景语义、空间关系和时间行为通过多 embedding 检索与自适应 agentic 重排(early access)合到一起。它模块化的 API 与 agent skill 能为训练数据集、或上面那些增强 blueprint 取回相关视频片段。
训练数据生成快 60 倍、便宜 45 倍
Cosmos Data Factory 的 skill 和 blueprint,把"难以收集的训练数据"变成一项你能控制的算力负载。英伟达团队在一台八卡 RTX PRO 6000 Blackwell Series 的云服务器上测了日吞吐,价格约 $40/服务器小时,即 $960/天,然后用日成本除以产出,估算每个资产的成本。
- AV 数据集生成:每天约生成 130 条 edge-case 片段,每条 GPU 算力成本 $2.66,比让车队上路采集($125/场景)便宜约 45 倍。
- 图像属性增强:每天增强约 42,649 对标注图像,按 $960/天算即 $0.023/对,比第三方采购数据均价 $0.25 便宜约 10 倍。
- 视频数据增强:每天约 305 条已标注片段,每条约 5 分钟、$3.15,比我们为第三方数据付的均价 $22 便宜约 7 倍。
- 缺陷图像生成:数据集组装时间从两个月压到一天,60 倍加速。
- 事件视频生成:每天约 384 条已标注片段,每条 $2.50、约 4 分钟,不用等真实事故、也不用布置危险现场,就能造出火灾、打斗、跌倒这类稀缺训练样本。
有了 Cosmos,训练缺口就变成了一项有可计量算力预算的生成任务。注意这些数字只覆盖算力;源数据准备、环境搭建、agent 使用、存储和人工复核都可能额外增加成本。
各组织报告的结果与预期
已有若干组织在用 Cosmos 的 skill 与 blueprint,提升自动驾驶、视觉检测与机器人场景下的测试、检测与搜索准确度,同时把成本和工作量往下压:
- 在海上油气现场,用合成数据把真实异常场景的召回率提升最多 24%,并估算数据生成成本的回报约为 1,400 倍。
- 在自动光学检测(AOI)程序生成中,目标是减少最多 85% 的人工工程量,同时误报减少 40%。
- 实车测试次数减少最多 90%,AI 回归测试周期缩短最多 85%(预期)。
- 用 Cosmos Curator 只用不到两周就推向市场,而自建等效管线估计要六个月。
开始使用 NVIDIA Cosmos
想加速你应用的数据整理、处理与合成数据生成,可以去看 NVIDIA Cosmos Data Factory 的 blueprint 与可组合 skill:从一个跟你用例匹配的 blueprint 开始,按安装指南走,然后用你的 AI agent 把这套工作流跑在你的数据上。需要更贴合自己的管线,就用单个 skill 组装,产出高质量、标注齐全的训练数据集。
我们的整理:四个数字要先看清楚
- 45 倍 / 10 倍 / 7 倍都是"对比口径",不是绝对成本。 分母分别是车队上路 $125/场景、第三方采购 $0.25/对、第三方数据 $22/片段——这三个基准都来自英伟达自己的采购与采集经验,换个数据集、换个地区就未必成立。
- 60 倍讲的是"组装时间",不是吞吐。 原文写的是数据集组装从两个月变成一天;同一节里真正的每日产出是另一个数字(约 130 条 edge-case 片段/天)。
- "组织报告"里混着实测与目标。 召回 +24%、ROI 1,400 倍、AOI 误报 −40% 是已报告的;而"少 90% 实车测试""回归周期短 85%"原文明确标了 targeting / expected。引用时别把预期写成结果。
- 传感器支持是进行时。 Curator 当前支持多摄像头视频、IMU、GPS 和初步 lidar;毫米波雷达、更多 lidar 型号还在计划中。Dataset Search 已按 Apache 2.0 开源,但 agentic 重排仍是 early access。
还有一条容易被忽略的边界:这些产出是带标注的图像与视频数据集,不是 3D 资产。如果你要的是能进引擎的场景,那属于另一条线(USD / 神经重建);这一套解决的是"训练数据的缺口"。
在线工具:如果你把同一批 3D 资产(比如 PCB 的 USD 板卡模型)另存成 glb/gltf 做人工抽检,可以直接拖进 3D Viewer 在浏览器里核对几何与层级;工具全表在 Apps。
同主题文章
来源
- Nakul Arora,NVIDIA Technical Blog,《Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos》,2026-11-18:https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos/
- 本文为全文翻译:两段引言、两条提示词、五个用例(含各自的示例提示词与配图)、六个核心 skill、成本与成效两节、"开始使用"均按原文完整译出;原文开头的 AI 生成摘要、关联文章列表与社媒订阅段未转述
- 配图来自原文的七张 GIF(首图 + 图 1–6)。GIF 单张 9–10 MB、合计约 66 MB,直接嵌入会让页面过重,所以这里取每张动图的代表性截帧(≤800px)并标明"原为动图";动图原件仍在原文
- 文中所有数字($960/天、$2.66/条、42,649 对、305 条、384 条、24%、1,400 倍、85%、40%、90%)均为原文表述,我们未独立复核;"我们的整理"部分为编者补充
本文属于「AI × 3D / 生成式 AI」专题,由 BimAnt 编译整理,转载请注明出处。