英伟达开源Cosmos 3交互式世界仿真模型:驾驶多视角与双臂机器人可闭环

英伟达于11月5日前后发布Cosmos 3交互式世界仿真开源检查点,包括Transfer-Auto、Sim-Auto、Sim-Transfer与Sim-Bimanual四款约16B模型,支持驾驶多传感器与双臂机器人闭环仿真,许可证为OpenMDW 1.1。

发生了什么

11月5日,英伟达在Hugging Face博客宣布:Cosmos世界模型平台为Cosmos 3家族新增四个开源权重检查点,专门服务“交互式世界仿真”——让虚拟环境能随控制指令流式生成下一帧观察,供自动驾驶与机器人策略做训练和评测。

四个检查点都是Cosmos 3 Nano的后训练样例,约160亿可训练参数,许可证为OpenMDW 1.1,允许在条款范围内商用与非商用。代码与权重分别放在GitHub与Hugging Face,并配有技术报告与演示。

关键细节和数据

产品矩阵按“控制输入 → 观察输出”拆成四条路径:

Cosmos3-Nano-Transfer-Auto面向离线合成驾驶数据:可生成最多约11路同步相机视频(含鱼眼),并支持联合RGB–LiDAR;用每相机World Scenario Map(WSM)约束场景结构与车流,文本提示管外观。

Cosmos3-Nano-Sim-Auto是其因果蒸馏的流式版本:用少量去噪步连续生成小段同步相机与LiDAR,依赖历史帧与更新后的驾驶控制,支撑长时交互 rollout。

Cosmos3-Nano-Sim-Transfer把外部物理仿真器算好的空间控制(深度、分割、边缘、模糊等)加上文本提示,渲染成策略可消费的逼真RGB——物理状态仍留在仿真器,生成模型只管外观。

Cosmos3-Nano-Sim-Bimanual则直接根据双臂机器人或相机动作预测下一观察,支持YAM与AgiBot等具身,可用策略或摇杆闭环交互;示例控制序列约59维,训练时填充到64维。

训练配方被总结为四阶段:双向域适应 → teacher forcing → 一致性蒸馏(学生约四步生成一段)→ self-forcing(在学生自生成历史上继续训,缓解误差累积)。骨干是Mixture-of-Transformers,文本与视觉网络经注意力耦合;潜空间里初始图像之后,每个潜在时间步对应约4帧RGB。

为什么重要

物理AI最贵的往往不是算一次前向,而是“换个天气、换个传感器、换个失败动作”都要真实采集。交互式世界模型把动作与观察绑成闭环,使策略可以在虚拟里被反复打断、纠偏与长时滚动——这正是从离线视频生成迈向可训练仿真器的关键一步。

英伟达同时给出“后训练菜谱”:先用自有传感器数据适配Transfer-Auto,再蒸馏成Sim-Auto;双臂与Transfer路线也各自可续训。开源的不只是权重,还有可复现的适配路径。

影响和展望

短期,门槛仍不低:官方示例环境要求Linux、NVIDIA GPU、Docker与Container Toolkit,并在GB200一类平台上验证过服务端部署。中期,若社区在自有车型传感器与机器人本体上跑通适配,Cosmos有望成为物理AI仿真的公共底座之一。

需要清醒的是:开源检查点提供了起点,并不等于已经通过策略学习的最终验收。英伟达自己也写明——接下来要度量模型在何处忠实支撑策略学习与评测,并改进不足。对中国自动驾驶与具身团队来说,更值得跟的是“控制可编辑 + 流式闭环 + 可后训练”这套工程接口,而不是把演示视频当成可部署仿真器。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4414.html

赞 (0)
瑞士Embodied AI发布AIR:腱驱动轻臂轮式机器人,可无围栏与人同线作业
上一篇 2026年11月7日 上午9:07
深度:OpenAI估值报1.25万亿美元却缩募,AI资本狂热开始降温
下一篇 2026年11月7日 上午9:07

相关推荐

发表回复

登录后才能评论