发生了什么
11月5日,英伟达在Hugging Face博客宣布:Cosmos世界模型平台为Cosmos 3家族新增四个开源权重检查点,专门服务“交互式世界仿真”——让虚拟环境能随控制指令流式生成下一帧观察,供自动驾驶与机器人策略做训练和评测。
四个检查点都是Cosmos 3 Nano的后训练样例,约160亿可训练参数,许可证为OpenMDW 1.1,允许在条款范围内商用与非商用。代码与权重分别放在GitHub与Hugging Face,并配有技术报告与演示。
关键细节和数据
产品矩阵按“控制输入 → 观察输出”拆成四条路径:
Cosmos3-Nano-Transfer-Auto面向离线合成驾驶数据:可生成最多约11路同步相机视频(含鱼眼),并支持联合RGB–LiDAR;用每相机World Scenario Map(WSM)约束场景结构与车流,文本提示管外观。
Cosmos3-Nano-Sim-Auto是其因果蒸馏的流式版本:用少量去噪步连续生成小段同步相机与LiDAR,依赖历史帧与更新后的驾驶控制,支撑长时交互 rollout。
Cosmos3-Nano-Sim-Transfer把外部物理仿真器算好的空间控制(深度、分割、边缘、模糊等)加上文本提示,渲染成策略可消费的逼真RGB——物理状态仍留在仿真器,生成模型只管外观。
Cosmos3-Nano-Sim-Bimanual则直接根据双臂机器人或相机动作预测下一观察,支持YAM与AgiBot等具身,可用策略或摇杆闭环交互;示例控制序列约59维,训练时填充到64维。
训练配方被总结为四阶段:双向域适应 → teacher forcing → 一致性蒸馏(学生约四步生成一段)→ self-forcing(在学生自生成历史上继续训,缓解误差累积)。骨干是Mixture-of-Transformers,文本与视觉网络经注意力耦合;潜空间里初始图像之后,每个潜在时间步对应约4帧RGB。
为什么重要
物理AI最贵的往往不是算一次前向,而是“换个天气、换个传感器、换个失败动作”都要真实采集。交互式世界模型把动作与观察绑成闭环,使策略可以在虚拟里被反复打断、纠偏与长时滚动——这正是从离线视频生成迈向可训练仿真器的关键一步。
英伟达同时给出“后训练菜谱”:先用自有传感器数据适配Transfer-Auto,再蒸馏成Sim-Auto;双臂与Transfer路线也各自可续训。开源的不只是权重,还有可复现的适配路径。
影响和展望
短期,门槛仍不低:官方示例环境要求Linux、NVIDIA GPU、Docker与Container Toolkit,并在GB200一类平台上验证过服务端部署。中期,若社区在自有车型传感器与机器人本体上跑通适配,Cosmos有望成为物理AI仿真的公共底座之一。
需要清醒的是:开源检查点提供了起点,并不等于已经通过策略学习的最终验收。英伟达自己也写明——接下来要度量模型在何处忠实支撑策略学习与评测,并改进不足。对中国自动驾驶与具身团队来说,更值得跟的是“控制可编辑 + 流式闭环 + 可后训练”这套工程接口,而不是把演示视频当成可部署仿真器。
参考来源
- Hugging Face:New NVIDIA Cosmos 3 Open Models for Interactive World Simulation
- NVIDIA Research:Interactive World Simulation with Cosmos
- arXiv:Interactive World Simulation with Cosmos for Physical AI
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4414.html