Runway开源世界动作模型Praxis-1:270亿参数从日常视频里学会操控机器人,RoboLab-120成功率46.2%居同类首位

视频生成公司Runway于11月11日开源Praxis-1。这个270亿参数的世界动作模型先“想象”接下来的画面,再从中读出动作,在RoboLab-120榜单上领先所有世界动作模型和开源机器人基础模型,权重和微调代码均可商用。

发生了什么

当地时间11月11日,以AI视频生成闻名的Runway宣布,世界动作模型(World Action Model)Praxis-1以Apache 2.0协议向所有人开放,权重、推理代码和微调代码都可以商用。Runway在9月首次介绍了这个模型,此前合作伙伴Noble Machines、Standard Bots和Ultra已经把它跑在腿足人形机器人、六轴工业机械臂和双臂仓储机器人上。

核心思路:从视频里学物理

机器人行业的老问题是真实机器人数据太少、采集太贵。Runway的判断是,最容易规模化的数据源是人们每天拍下的普通视频。一个学会预测视频的模型,自然会知道物体怎么运动、手怎么动、一件事做到一半是什么样子。

Praxis-1由三部分组成:

  • 视频主干:基于Runway自家视频基础模型,是一个混合专家(MoE)扩散Transformer,总参数约269亿,每个token激活约28亿;
  • 动作专家:一个约3.14亿参数的小型Transformer,读取主干对未来画面的内部表征,算出实现这一画面所需的动作;
  • 每种机器人各自的轻量输入输出层,让同一个模型适配不同本体。

每次调用时,模型接收指令、最新的摄像头画面和机器人当前姿态,返回一段预测的未来视频,以及1.6秒的动作(15Hz下24行动作指令)。在单张H100上,一次调用往返约0.55到0.6秒。训练分四个阶段:通用视频预训练、具身视频中期训练、视频与动作联合训练,最后针对具体机器人微调。

关键数据

  • 在英伟达RoboLab-120仿真基准(120个桌面任务、共1200个回合)上,基于DROID数据微调的Praxis-1成功率46.2%,高于FLUX 3 Action的42.9%、Cosmos3 Nano的36.8%和π0.5的28.0%;
  • 榜单上排在它前面的四个条目,两个是直接驱动前沿大模型的智能体,另两个是部分用仿真数据训练的闭源模型;
  • 在第三方运营的Franka FR3真机上,用FLUX 3 Action公布的10个任务各测10次,Praxis-1成功88次,FLUX 3 Action为80次;
  • 在训练中从未见过的谷歌RT-1机器人上微调后,SimplerEnv成功率达80.0%,原版RT-1策略为52.4%;
  • 与GPT-6 Astra驱动同一台双臂机器人完成三个任务相比,Runway自测Praxis-1平均快15.6倍、单次任务成本低51倍。

模型在bf16精度下约54.4GB,可在单张80GB显卡上运行;把路由专家量化为NVFP4后,权重缩小到17.5GB,Runway称可在RTX 5090上运行,成功率与原版差别不显著。

局限

Runway在技术报告中坦言了三类问题:容易抓错外观相似的物体;指令模糊时表现明显下降;单条指令串联多个步骤仍然困难,更适合每一步单独下指令。它还发现,剩余误差大多来自视频模型“想象错了未来”,而不是动作专家读错了动作。

为什么重要

把视频生成模型改造成机器人“大脑”,是今年具身智能最热的路线之一。Praxis-1的意义在于给出了一个可以直接下载、可商用、带完整微调工具链的强基线,降低了中小机器人公司的门槛。它也说明,视频模型公司正在把生成能力延伸到物理世界。接下来要看的是社区在更多机器人本体和更长任务上的复现结果。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4581.html

赞 (0)
DeepL发布语音翻译模型Aure:翻译出来的声音会跟着你的语气、情绪和语速实时变化
上一篇 2026年11月12日 下午3:08
旅行者1号下周三抵达“1光日”:飞了49年,将成为首个离地球一整天光程的人造物体
下一篇 2026年11月12日 下午3:08

相关推荐

发表回复

登录后才能评论