发生了什么
英伟达技术博客近日介绍了开源工具NVIDIA SOMA Retargeter。它的任务是“动作重定向”:把人类的动作数据,按照某一款人形机器人的身体比例、关节结构和活动范围进行改写,生成这款机器人可以执行的关节轨迹,再交给下游的运动控制策略去学习。
人类示范包含自然动作背后的协调性和节奏感,是教人形机器人运动的绝佳起点。但英伟达在文中指出,机器人的比例、关节结构和活动范围都与人不同,不能简单复制人的关节运动,必须先做适配。
关键细节和数据
- 统一输入:工具围绕英伟达SOMA-X中的共享人体动作表示构建,读取SOMA基础骨架上的BVH动画文件;
- 三步流水线:先把动作目标按机器人比例缩放,再用基于NVIDIA Warp构建的Newton求解逆运动学(IK),最后做脚底贴地等后处理修正;
- 输出格式:CSV文件,逐帧记录机器人根部位置、朝向和各关节角度,可转换为SONIC、ProtoMotions等策略训练框架的动作库格式;
- 首批机型:v0.2版本附带来自BONES-SEED数据集的示例动作,以及宇树G1、宇树H2、加速进化(Booster)T1、智元X2 Ultra和智元A3T3五款人形机器人的参考配置和重定向结果;
- 配套工具:Robot Configurator用于对齐人与机器人的参考姿态、映射骨骼并调整缩放;实验性的IK权重优化器可用一小组代表性动作自动调优各身体部位的优先级;支持无界面的批量重定向。
动作从哪里来
SOMA Retargeter不关心动作的“出处”,只要能表示在SOMA骨架上即可。博客列举了三类来源:BONES-SEED这样的动作捕捉数据集;GEM-X从单段视频重建全身三维人体动作,其演示流程已经把视频重建和G1重定向串了起来;以及Kimodo和ARDY这类生成模型,可以根据文字和姿态约束生成人体动作,ARDY还支持在动作进行中实时引导。
英伟达还展示了一个实时生成的例子:MotionBricks的G1模型部分使用了经SOMA Retargeter适配到G1的BONES-SEED动作进行训练,可以在不断变化的目标姿态之间实时生成连续全身动作,并已在真实的宇树G1上配合SONIC控制器演示。
为什么重要
人形机器人行业的一大瓶颈是“动作数据”。真实机器人采集慢、成本高,而人类动作数据——动捕库、海量视频、生成模型——几乎取之不尽。问题在于中间这一步翻译:重定向做得不好,机器人会出现比例失调、双臂乱摆、脚底打滑等问题。博客举例说,参考姿态没对齐时,一个单手挥手的动作会让加速进化T1把双臂都伸出去;对齐后才变成一只手在头边挥动、另一只手自然下垂。脚底滑动则会给下游策略制造矛盾目标,因此工具专门在检测到的接触区间内修正脚部运动。
把这一步做成开源、可配置、可批量处理的工具,等于为“从人类视频到机器人技能”的流水线补上了标准化的一环。首批配置覆盖的五款机型中有四款来自中国厂商,也反映出国产人形机器人在开发者生态中的存在感。
影响和展望
重定向得到的轨迹只是“参考答案”,机器人还要在仿真中训练运动跟踪策略,接受平衡、触地、执行器极限和跟踪精度的检验,之后才能部署到真机。英伟达展示的MicroDuck实验就是在Isaac Lab和Newton中为每段动作训练控制器。
接下来值得关注的是:更多机型的社区配置能否快速补齐,以及“视频重建+重定向+仿真训练”这条链路能在多大程度上降低人形机器人学习新动作的成本。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4631.html