发生了什么
一项由Sharpa Robotics、香港中文大学以及上海交通大学—Sharpa具身智能联合实验室等单位完成的研究,近日以论文形式挂上arXiv(编号2611.24585),并在项目主页同步公布了真机实验。论文标题是《SHAPE: Discrete Supervision and Parallel Continuous Streams for Learning Dexterous Manipulation from Egocentric Human Data》,作者包括李亚平、柳志宏、林达华、邓志杰等。SHAPE是一个视觉语言动作(VLA)模型,核心想法是:第一人称人类录像远比双手灵巧遥操作便宜,但录像里没有机器人的关节位置和驱动指令,只能重定向成末端执行器(EEF)动作;研究要回答的是,这些人类数据究竟该如何监督策略,以及部署时该读出哪一路动作。
关键细节和数据
SHAPE把两件事写进同一套结构。视觉语言主干在训练时把每一段EEF动作块编码成离散的FAST标记,作为辅助目标,直接给主干提供监督;与此同时,一个共享的流匹配动作专家并行输出两路都可执行的连续动作:EEF流给出腕部和指尖位姿,用于人类到机器人的迁移;关节流直接给出臂和手的关节指令,用于精细控制。两路在注意力上互不访问,因此部署时可以从同一个检查点里只跑其中一路。项目主页写明,主干采用Qwen3-VL-4B,动作专家约0.6B参数,动作块为60赫兹下的64步,EEF流55维、关节流65维,FAST词表大小为1024。预训练时人类样本和机器人样本按1:1抽取;没有关节标签的人类样本会掩掉关节损失。
预训练数据也有明确口径。人类第一人称录像共2811小时、7.31万条、320项任务,只提供重定向后的EEF动作;机器人遥操作共228小时、1.05万条、105项任务,同时提供EEF和关节动作。真机平台是两条7自由度机械臂,配两只22自由度灵巧手,以及头部相机和两只腕部相机。为了单独看清“要不要人类数据”和“要不要离散标记”的作用,团队做了对照式的2×2预训练:架构、机器人数据和训练预算保持不变,只开关这两项,再与公开基线π0.5、GR00T N1.7在同一套示范上微调比较。全部真机试验共1680次,每项策略、每个任务各20次,物体摆放经过随机化。
项目主页把主要结果概括成三组。在有机器人示范的六项任务上,SHAPE的综合得分为0.80,π0.5为0.63;若去掉离散标记,得分会从0.80降到0.47。关节流在这类精细控制上明显强于EEF流,二者分别为0.80和0.52。任务覆盖从精确插入到掌内扭转;对USB和Type-C的再次插入,评分会计入阶段性完成,而两个连接器在毫米级公差下的最终回插,对所有策略都仍然很难。在三项完全没有机器人示范的新任务上,仅用人类示范微调时,加上离散标记的SHAPE用EEF流做成了21/60次,没有离散标记时是7/60,改走关节流则是0/60。换言之,人类示范迁移更依赖经逆运动学落地的EEF流。作者还提到,在一台预训练中未见过的第二台机器人上做仿真评测,SHAPE成功率为72.2%,π0.5为64.8%。主页也写明:如果预训练里没有人类数据,他们自己的模型只能与π0.5打平;离散标记会同时抬升两路动作,人类预训练再进一步抬升关节流,即使人类数据本身并不含关节标签。
为什么重要
灵巧双手的示范一直贵,因为操作员要同时遥操作双臂和多指手。第一人称人类录像规模更大、场景更日常,但形态和运动学对不齐,直接拿来当关节监督会得到分布之外的姿态。SHAPE用对照实验说明,把EEF动作块做成离散辅助目标,能让主干在人类和机器人两个域里学到更有用的动作表示;再把EEF和关节两路都保留为可执行输出,就可以在“只有人类示范的新任务”和“有机器人示范的精细操作”里各用所长,而不必训练两套互不相通的策略。对具身智能来说,这给出了一种比“把人类视频全部逆解成关节”更可检验的数据用法。
影响和展望
21/60仍然意味着多数新任务试验没有成功,作者也没有把它写成已经可部署的通用家务能力。评测集中在特定双臂双灵巧手平台,第二台机器人的72.2%来自仿真,还包含实机到仿真和跨本体的间隔,不能直接理解成真机换一套手臂就同样有效。毫米级回插对所有方法都难,也说明高精度装配仍是短板。值得继续观察的是,这条“人类录像加离散监督、部署时再选读出流”的做法,能否在更多本体和更长任务上复现,以及开源基线在同一协议下的差距会不会缩小。目前论文和项目主页已经把数据规模、对照设置和主要分数公开,复现和后续对比可以先从这些口径对齐。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4820.html