发生了什么
北京邮电大学的吕欣科、中国科学院自动化研究所的杨博文,以及PowerTech的王志成等作者,于11月19日在arXiv发布论文《Ego2X: Contact-aware Transfer from Egocentric Human Data to Any Robot》(编号2611.24138)。论文脚注写明,吕欣科与杨博文在PowerTech实习期间完成了这项工作。
作者认为,具身模型依赖真实的交互数据,但在真机上采集既慢又费人力。近年来已有不少“第一人称视频到机器人”的流水线,做法是把人手和手臂的动作重定向到机器人,并用画面像不像来衡量效果。问题在于,这些轨迹在物理上经常站不住脚:手指会悬在物体旁边,夹爪也会在空处合上。Ego2X的判断是:真正该迁移的,是物体如何被推动,以及驱动这一运动的接触。
关键细节和数据
Ego2X是一套以物体为中心的框架,输入是单目第一人称视频和目标机器人的URDF,输出则是可在灵巧手和平行夹爪上执行的机器人数据。它的核心是CORE,即“以接触为中心的物体交互表示”(Contact-centric Object-interaction REpresentation)。CORE在物体坐标系里记录每一次接触:表面锚点、相对力度、抓取模式和交互状态,并配有Certified、Trusted、Hypothesis、Uncertain等证据分级。作者把抓取分成七种模式,例如手掌托举、强力抓握、指尖持握和精密对捏,再据此决定机器人要用哪些接触垫去复现。
整条流水线用CORE做三件事:以物体相对约束校正手与物体之间的深度漂移;让逆运动学朝向机器人必须实现的接触;以及在抹去人手、合成机器人手臂时保护仍被握住的物体。论文还写到,为了跨越不同形态,系统会把机器人碰撞几何编译成与模式兼容的接触垫,对灵巧手把垫面对准CORE锚点,对平行夹爪则在物体坐标系里合成对心抓取。
定量结果分布在三个基准上。在HOT3D上,接触驱动的深度校正使接触状态下的手部沿视线深度误差下降33.7%;在使用估计位姿时,单目物体平移误差降低30.4至47.3毫米。在EgoDex上,接触驱动的重定向为灵巧手实现了62.9%的已标注接触,高于官方HuRo流水线的27.9%;平行夹爪的物理接触吻合率为63.2%,高于Ego2Robot的9.7%。在RoboTwin 2.0中,作者仅用Ego2X转换得到的轨迹对X-VLA做后训练,不使用模拟器里的专家示范,任务成功率从零样本的40.5%提高到67.0%,评估覆盖200组配对场景。文中示意图还给出另一组对比:闭环仿真转换成功率为59.6%,对照约为1.9%。
作者自称,就他们所知,这是首次利用第一人称视频中的物体交互和接触先验来合成机器人轨迹,并对具身模型做后训练。他们还表示,将公开发布转换流水线,以及面向灵巧手和平行夹爪、带有CORE标注的数据集。
为什么重要
用人类视频训练机器人,最大的障碍往往不是“看起来像不像”,而是手没有真正碰到物体。把迁移单位从“人手关节轨迹”换成“物体坐标系里的接触”,等于承认跨本体学习首先要保住抓取是否发生、力是不是作用在物体表面上。对平行夹爪尤其如此:它和人手结构差得很远,如果只模仿手指怎么弯,夹爪就很容易在空中合拢。Ego2X把同一套接触记录用于两种末端,是想证明第一人称视频可以变成更通用的训练数据,而不必为每一种手重新采集示范。
影响和展望
需要分开看的是:这篇工作解决的是如何把单目第一人称视频转成物理上可执行的机器人数据,并用转换结果去后训练视觉—语言—动作模型;它并不等于在真机上只看几段人类视频就能直接完成新任务。成功率数字来自RoboTwin 2.0等基准和指定的X-VLA后训练设置,不能外推到所有机器人和所有任务。论文提到将公开流水线和数据集,但发布时页面上尚未给出代码或数据的最终地址,实际开放进度仍需以作者后续更新为准。对具身数据短缺的问题,这类方法若能稳定复现,意义会大于再堆一批只在画面上“像机器人”的合成视频。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4833.html