发生了什么
牛津大学的Kai Lu、Chenyang Ma和Ioannis Havoutis在arXiv公布了框架PGX(Physically Grounded Execution),用于把视觉-语言-动作模型(VLA)接到长程的人形机器人“先走过去、再动手”任务上。他们的判断是:何时切换阶段、在哪里对准,往往可以由物理量直接给出,不必全部交给神经网络;VLA更适合负责如何完成接触和操作。论文给出了仿真对照,并在真实的Unitree G1上做了验证。项目主页同步公开了方法说明和演示。
关键细节和数据
PGX把任务拆成三层。第一层是谓词门控的状态机,负责进度、超时重试、过早进入某阶段后的反向恢复,以及导航和等待。第二层是技能:VLA只在当前操作阶段执行,执行层会尽量把机器人送回该技能训练时的起始条件。第三层是世界坐标锁定(WCL):根据当前物体位姿计算导航目标,把基座停在进入操作时的位置,并把精确的接触目标锚在世界坐标系里。作者强调,这套执行结构本身是免训练的,并不改VLA的权重。
仿真在Isaac Lab Arena中的Unitree G1上进行,每组至少20个回合,搬运箱子、放置杯子和取咖啡的时限分别是40秒、60秒和110秒。取咖啡要触发设备,并把杯子最终放下,直接把未调制的杯子送走不算成功。随机初始位姿(文中称为C1)会在两个平移方向上加±0.30米、偏航加±30°的均匀偏移。所用技能骨干是微调后的π0.5和GR00T N1.6。
在取咖啡这项主测试上,GR00T N1.6保持权重不变:标准初始位姿下,端到端成功率从扁平执行的35%升到使用PGX后的80%;随机初始位姿下从20%升到80%。π0.5在扁平执行下两次都是0%,加上PGX后分别为60%和55%。作者同时提醒,是否按阶段单独训练技能,效果因模型而异:在取咖啡这组评测里,扁平训练的GR00T技能反而好于按阶段训练的版本。另外两项任务同样有提升,例如标准位姿下,π0.5搬运箱子从10%升到90%,放置杯子从0%升到75%。主测试的仿真演示来自50段Quest遥操作(共250个片段)。
真机实验使用带Dex-3左手的G1,阶段图和谓词从仿真迁移过来,谓词读取动作捕捉和关节状态,VLA则在44段真实演示(176个片段)上微调。任务结构与仿真一致:走到台面、抓住杯子、送到咖啡机旁放下、等待、再抓住并送出。论文用图报告了四个操作阶段的完成率(以到达该阶段的回合为分母),并写道抓取迁移得最好,差距主要出现在放置和再次抓取这两类接触密集阶段,反映的是真机手上微调技能的精度,而不是执行结构本身。文中没有给出一个单独的真机端到端成功率,因此不宜把仿真里的35%到80%直接说成真机成绩。作者也提到,成功率提高的同时,阶段切换会让执行时间变长,这是后续要改进的地方。
为什么重要
用一个扁平策略跑完整的长任务时,不同阶段的画面可能很像,机器人一走动,动作所参照的坐标系也会变;演示数据里走路和几乎不动的片段往往又占多数,模仿学习容易变得保守。PGX说明,不一定非要再训练一个更大的端到端模型,也可以把“何时、在何处行动”交给经典的执行结构,让现成的VLA专心做操作。这对把实验室里的单步技能接到厨房、病房或车间里的多步骤任务,是一条更可检查的路径。
影响和展望
目前最完整的数字来自仿真,真机实验验证了阶段图可以迁移,但接触密集环节仍取决于手上的技能,并且用了动作捕捉来读谓词。接下来若要走出实验室,还需要看在没有外部定位、物体和场景更多变时,这套结构还能不能稳定工作。论文把它定位为连接机器人基础模型和经典控制的执行框架,而不是一个已经可以在开放环境里连续工作的完整系统。
参考来源
- arXiv:2611.26596 PGX: Physically Grounded Execution for Long-Horizon Humanoid Loco-Manipulation
- 项目主页:PGX
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4864.html