英伟达推出Cosmos Data Factory:两条提示词生成物理AI训练数据,缺陷图制备称快60倍

英伟达推出Cosmos Data Factory,让编程智能体用两条提示词完成物理AI训练数据的检索、增强、生成和标注。官方称,在8张RTX PRO 6000 Blackwell上,缺陷图像数据集制备时间从两个月降到一天,自动驾驶场景生成成本约为路测采集的1/45。

发生了什么

11月18日,英伟达在开发者博客介绍了NVIDIA Cosmos Data Factory(CDF)。它是Cosmos开放平台的一部分,包含五套面向常见任务的云原生蓝图,以及六项可组合的智能体技能,用来加快物理AI所需的数据筛选、处理与合成数据生成。英伟达的说法是:前沿编程智能体可以编排这些蓝图,做到“两条提示词、无需人工盯着每一步”,把原始影像变成可训练的数据集。

关键细节和数据

第一条提示词用于环境准备:克隆CDF编排仓库,先跑预检(preflight)再执行setup。预检只检查环境、不改动系统,通过后再部署蓝图所需的服务。第二条提示词则描述具体的数据任务。五套参考蓝图目前覆盖:为自动驾驶训练生成驾驶场景;为人物检索和重识别生成服装等属性变化;在天气、光照和环境条件上增强已有视频;从一张源图像生成火灾、跌倒、盗窃等稀有事件视频;以及从干净的检测图或三维USD资产生成缺陷图像,用于外观检测。

以自动驾驶蓝图为例,Cosmos Curator会为输入视频提取元数据,Cosmos Dataset Search按嵌入检索相近片段,再交给Cosmos3-Super-Image2Video做风格迁移,最后由Cosmos Evaluator检查生成视频是否符合物理合理性。视频增强蓝图则用视觉语言模型描述源视频,结合用户指定的条件生成结构化提示,由Cosmos3-Nano生成变体,再检查运动伪影、条件是否出现,以及运动是否物理上说得通,并通过后自动标注检测、跟踪和说明文字。稀有事件蓝图会在生成失败时重试;缺陷图像蓝图对电路板、玻璃和金属做了微调,三维资产会先经Isaac Sim渲染,再用Qwen-Image-Edit生成作为对照的“黄金图像”,并由Cosmos 3 Super在保留周围结构的前提下写入缺陷。

这五套蓝图由六项核心技能拼装而成,也可单独使用:自动标注、AnomalyGen、增强、筛选与检索、仿真,以及编排。其中,Cosmos Dataset Search已以Apache 2.0协议开源;Cosmos Curator现在支持多相机视频、惯性测量单元(IMU)和GPS输入,激光雷达支持还在起步阶段。仿真技能则通过Isaac Sim和Omniverse Replicator,从三维场景渲染带完整标注的图像。

性能数字来自英伟达自己的测量。团队在一台配有8张NVIDIA RTX PRO 6000 Blackwell的云服务器上统计日吞吐,按约每服务器小时40美元、每天960美元的算力成本,再除以产出,得到单条资产成本,且明确只计入计算费用,不含源数据准备、部署、智能体调用、存储和人工复核。结果显示:自动驾驶数据集生成每天约130条边角场景,每条算力成本约2.66美元,官方称比上路采集时每条场景约125美元的车队成本便宜约45倍;图像属性增强每天约4.2649万对标注图像,每对约0.023美元,约为其采购第三方数据均价0.25美元的十分之一;视频增强每天约305条标注片段,约5分钟的片段每条约3.15美元,约为其支付的第三方均价22美元的七分之一;缺陷图像生成把数据集装配时间从两个月降到一天,也就是官方所说的约60倍加速;稀有事件视频每天约384条标注片段,每条约2.50美元、约4分钟一条。

为什么重要

物理AI最贵的往往不是再训练一次模型,而是凑齐足够多样、尤其是足够“罕见”的数据。夜间事故、产线缺陷、仓库跌倒很难在真实世界里批量采集,有时还不安全。把筛选、增强、生成和质检收成可编程的蓝图,等于把数据准备从“派人去拍”变成“可控的计算作业”。对自动驾驶、机器人操作和工业检测团队来说,这降低了补齐长尾场景的门槛,但也把质量风险前移到了生成器和评估器本身:如果物理合理性检查不够严,合成数据可能反而把模型带偏。

影响和展望

英伟达还提到,11月19日将举行题为“两条提示词构建训练就绪数据集”的直播,介绍保时捷如何通过Voxel51平台使用Cosmos Data Factory,以及Encord与ANYbotics的合作。博客中另有一些未具名的效果数字,例如合成数据使真实异常召回率最多提高24%,或预期减少重复路试、缩短回归测试周期,在缺少可复核口径之前,更适合当作厂商案例,而不是已经普遍成立的行业结论。接下来真正要看的,是这些蓝图在客户自己的集群上能否复现官方的吞吐和成本,以及评估器拦下来的失败样本,会不会成为新的训练瓶颈。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4788.html

赞 (0)
地平线发布视频几何模型LoFT:5.145亿参数,从RGB视频联合预测位姿、内参和深度
上一篇 3天前
微软与英特尔加深合作:Azure自研芯片将首用EMIB先进封装,并锁定下一代至强产能
下一篇 3天前

相关推荐

发表回复

登录后才能评论