把人类动作“翻译”给人形机器人:英伟达开源SOMA Retargeter,首批适配宇树G1/H2、加速进化T1和智元两款机型

人形机器人想学会自然走路和做事,最好的老师是人类动作,但机器人不能直接照搬人的关节角度。英伟达开源的SOMA Retargeter专门解决这个“翻译”问题,并把输出接入策略训练流水线。

发生了什么

英伟达技术博客近日介绍了开源工具NVIDIA SOMA Retargeter。它的任务是“动作重定向”:把人类的动作数据,按照某一款人形机器人的身体比例、关节结构和活动范围进行改写,生成这款机器人可以执行的关节轨迹,再交给下游的运动控制策略去学习。

人类示范包含自然动作背后的协调性和节奏感,是教人形机器人运动的绝佳起点。但英伟达在文中指出,机器人的比例、关节结构和活动范围都与人不同,不能简单复制人的关节运动,必须先做适配。

关键细节和数据

  • 统一输入:工具围绕英伟达SOMA-X中的共享人体动作表示构建,读取SOMA基础骨架上的BVH动画文件;
  • 三步流水线:先把动作目标按机器人比例缩放,再用基于NVIDIA Warp构建的Newton求解逆运动学(IK),最后做脚底贴地等后处理修正;
  • 输出格式:CSV文件,逐帧记录机器人根部位置、朝向和各关节角度,可转换为SONIC、ProtoMotions等策略训练框架的动作库格式;
  • 首批机型:v0.2版本附带来自BONES-SEED数据集的示例动作,以及宇树G1、宇树H2、加速进化(Booster)T1、智元X2 Ultra和智元A3T3五款人形机器人的参考配置和重定向结果;
  • 配套工具:Robot Configurator用于对齐人与机器人的参考姿态、映射骨骼并调整缩放;实验性的IK权重优化器可用一小组代表性动作自动调优各身体部位的优先级;支持无界面的批量重定向。

动作从哪里来

SOMA Retargeter不关心动作的“出处”,只要能表示在SOMA骨架上即可。博客列举了三类来源:BONES-SEED这样的动作捕捉数据集;GEM-X从单段视频重建全身三维人体动作,其演示流程已经把视频重建和G1重定向串了起来;以及Kimodo和ARDY这类生成模型,可以根据文字和姿态约束生成人体动作,ARDY还支持在动作进行中实时引导。

英伟达还展示了一个实时生成的例子:MotionBricks的G1模型部分使用了经SOMA Retargeter适配到G1的BONES-SEED动作进行训练,可以在不断变化的目标姿态之间实时生成连续全身动作,并已在真实的宇树G1上配合SONIC控制器演示。

为什么重要

人形机器人行业的一大瓶颈是“动作数据”。真实机器人采集慢、成本高,而人类动作数据——动捕库、海量视频、生成模型——几乎取之不尽。问题在于中间这一步翻译:重定向做得不好,机器人会出现比例失调、双臂乱摆、脚底打滑等问题。博客举例说,参考姿态没对齐时,一个单手挥手的动作会让加速进化T1把双臂都伸出去;对齐后才变成一只手在头边挥动、另一只手自然下垂。脚底滑动则会给下游策略制造矛盾目标,因此工具专门在检测到的接触区间内修正脚部运动。

把这一步做成开源、可配置、可批量处理的工具,等于为“从人类视频到机器人技能”的流水线补上了标准化的一环。首批配置覆盖的五款机型中有四款来自中国厂商,也反映出国产人形机器人在开发者生态中的存在感。

影响和展望

重定向得到的轨迹只是“参考答案”,机器人还要在仿真中训练运动跟踪策略,接受平衡、触地、执行器极限和跟踪精度的检验,之后才能部署到真机。英伟达展示的MicroDuck实验就是在Isaac Lab和Newton中为每段动作训练控制器。

接下来值得关注的是:更多机型的社区配置能否快速补齐,以及“视频重建+重定向+仿真训练”这条链路能在多大程度上降低人形机器人学习新动作的成本。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4631.html

赞 (0)
DeepSeek把整个App“装进”API:联网搜索、深度思考搜索、文件解析和语音接口全面开放,开发者可1:1复刻官方应用
上一篇 2026年11月14日 上午9:07
AI读懂哥德尔尘封80年的速记笔记:663条定理浮出水面,约400条经Coq验证成立
下一篇 2026年11月14日 上午9:07

相关推荐

发表回复

登录后才能评论