发生了什么
一篇11月19日提交到 arXiv 的论文介绍了 Reasoning on Call(RoC):这是一个面向长程机器人操作的控制框架,由武汉大学、中关村学院和三星等机构的研究者提出。作者认为,频繁呼叫多模态推理智能体虽然有助于规划与纠错,但会带来明显的延迟和 token 消耗。RoC 的做法是保留底层策略负责日常执行,再用在线任务状态监测器决定何时把情况交给高层推理智能体审查。
关键细节和数据
监测器结合阶段性视觉观察和有序的交互记忆,估计当前子任务的进度,并预测下一步目标。进度异常、子任务切换请求,以及候选动作中的关键接触事件,会触发智能体审查。智能体可以批准继续执行、缩短或修正候选动作、接管当前子任务,或改写下一步目标。通过核验的结果才会更新记忆并切换子任务。仿真中,监测器在不生成子任务时为 7.10 Hz,生成子任务时为 0.53 Hz,整体吞吐量为 2.77 Hz。底层策略由预训练的 FastWAM 初始化。
在仿真基准 RMBench 上,作者把对照分成两组。与基于智能体的方法相比(每项任务 30 次独立试验),RoC 的平均成功率为 99.6%,高于 GPT-as-Policy 的 75.6% 和 Direct Control 的 71.9%,平均 token 消耗为 288.3,分别比后两者降低 65.3% 和 84.4%。需要说明的是,这两个智能体基线沿用其原配置,使用 GPT-6 Astra(xhigh),而 RoC 的介入模型是 GPT-6.1 Sol(xhigh),模型并不相同。与策略方法相比(每项任务 100 次试验),RoC 的平均成功率为 98.1%,比最强的策略基线 MemoryWAM 高出 15.1 个百分点。
真机实验在五自由度的 SO-ARM101 上进行,配有固定的外部 RGB 相机和腕部 RGB 相机,三项长程任务各做 10 次试验:抽屉分类要求先记住颜色与抽屉的对应关系,再把随机给出的物块放入相应层;遮盖与揭示要求先记住三个色块位置,依次盖上杯子后再按红、蓝、黄顺序揭开;桌面整理则是把电源适配器、大小胶带和手持风扇放入橙色盒中。成功标准是按指定顺序完成全部子任务并达到目标终态。RoC 在三项任务上的成功率分别为 70%、80% 和 70%,总平均 73.3%;只用策略为 30.0%,策略加历史与监测为 56.7%。作者写道,失败主要出现在即使有智能体介入也难以纠正的抓取上。
为什么重要
长程操作既要可靠执行,也要在失败时决定是修动作还是改计划。RoC 把“何时推理”本身做成一个可监测的问题,而不是让智能体在每一步都重新看一遍现场,这为降低延迟和费用提供了一种可检验的思路。
影响和展望
仿真里接近满分的成功率,并不能直接外推到更复杂的真实环境;真机平均 73.3% 仍建立在 10 次试验和桌面任务上,抓取失败也还没有被智能体有效纠正。与 GPT-as-Policy 的对比还存在模型不同这一变量。下一步需要在更多硬件和任务上复现,并检验监测器本身会不会漏掉该介入的时刻,或在不必介入时频繁打扰。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4890.html