发生了什么
11月20日出现在 arXiv 上的一篇论文介绍了 EngineAI 团队的 Awaken-HI:这是一个面向人形机器人全身移动操作的视觉—语言—动作模型。作者同时构建 Awaken-Human 数据集,把约 5 万小时第一人称立体视频与同步全身动作对齐,覆盖 100 多项技能。模型经共享动作专家,同时预测原始人体动作和重定向后的机器人动作。在 EngineAI T800 上完成适配后,作者报告它在八项单独任务上的平均成功率为 93.75%,并在长程任务以及部分组合指令、未见物体测试中超过对照模型 GR00T N1.7 和 π0.5。
关键细节和数据
作者认为,现有大规模第一人称视频往往缺少与全身动作同步的标注,而把人体动作重定向到机器人时,又会因身材比例和关节结构差异出现偏差,因此有必要保留原始人体轨迹作为训练信号。Awaken-Human 用统一协议和轻量可穿戴传感器采集,场景包括家庭、工作场所、零售和仓储,并重建三维手部动作,配有子任务描述和逐帧深度图;论文统计为约 5 万小时、1700 万个片段。同样包含全身动作的 Nymeria、HumanVerse 分别约 300 小时和 500 小时,规模小得多。
模型以 Qwen3-VL 为视觉语言模型主干,根据头部相机图像、任务指令和本体感觉状态预测全身动作。预训练时,共享动作专家同时预测人体动作、腕部位姿和重定向后的机器人动作。随后用约 150 小时 T800 遥操作数据做后训练。论文称,人体预训练从 5000 小时增至 5 万小时时,留出集上的动作预测误差呈经验性缩放;在相同后训练数据下,更大规模也提高了三项家庭任务的平均成功率。消融显示,保留原始人体动作监督,比只训练重定向动作更能降低误差、提高真机成功率。
八项真机任务各评测 10 次。Awaken-HI 平均成功率为 93.75%,π0.5 为 57.5%,GR00T N1.7 为 58.75%;作者称它在全部八项上都优于这两个对照,并在黑色物料抓取、黑色物料上架和白色物料上架上达到 100%。家庭类任务里,双手收纳成功率为 80%,搬洗衣篮为 90%。长程评测把黑、白物料的抓取与上架连成工业补货,把双手收纳、挂衣和搬洗衣篮连成家庭整理,要求按序完成且中途不重置:Awaken-HI 分别为 90% 和 80%,π0.5 为 10% 和 20%,GR00T N1.7 为 30% 和 10%。
泛化测试没有额外训练。作者把后训练见过的物体和地点重新配对:黑物料改放上层货架、白物料改放中层,玩具车改放粉色箱、杯子改放绿色箱,每项 10 次。Awaken-HI 在两项工业改写指令上为 100%,两项家庭改写指令上为 80%;对照模型多次仍走向原来的训练目标。把双手收纳中的物体换成未见过的纸巾和药瓶后,Awaken-HI 的物体级完成率为纸巾 50%、药瓶 30%,两个对照均为 0%。
为什么重要
人形机器人最缺的往往不是又一段遥操作演示,而是可扩展的全身协调经验。这篇工作把“人体视频要配上同步全身动作,并且原始轨迹不能在重定向后丢掉”写成可检验的设定,并给出规模与误差、成功率之间的经验关系。长程任务和改写指令上的分差,更能说明模型能否在上一阶段留下的姿态上继续执行。
影响和展望
这些数字来自作者在 T800 上、每项 10 次的评测,任务集和对照设定由作者给出,还需要在更多环境和机体上独立复现。对未见物体,完成率仍只有 50% 和 30%,泛化并不均衡。对想把第一人称人体数据用到人形机器人上的团队来说,更值得关注同步全身动作、保留原始轨迹,以及在长程和改写指令上评测,而不是只看单项成功率。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4878.html