发生了什么
11月13日,深圳具身智能公司星尘智能(Astribot)发布多机器人协同框架CoMind(全称CoMind – Be My Eye),对应论文《Be My Eye: Learning to See Beyond a Robot’s Own Perspective》已提交arXiv。星尘称这是业界首个“主动共享、精选任务上下文”的多机协同模型框架,核心理念是:协作不在于共享一切,而在于传递真正影响决策的信息。
星尘智能此前以绳驱机器人本体和自研具身基座模型Lumo系列为人所知,今年7月发布的Lumo-2已把多机器人、人机协作纳入能力展示。
关键细节和数据
- 两阶段框架:第一阶段做“任务导向的上下文压缩”,把头部和双腕多视角相机画面结合任务指令,压缩成固定预算的紧凑潜空间Token(默认32个);第二阶段做“双向共享与联合优化”,接收方把队友的上下文与自身视觉、语言指令和本体状态融合,输入预训练的视觉—语言—动作(VLA)策略生成连续动作;
- 两个学习目标:面向任务的未来预测(借助视觉语言模型评估画面区域与任务的相关性并加权),以及基于软标签的任务进度对比学习,让共享信息隐含“在做什么、做到第几步”;
- 动作级反向传播:训练时,接收方动作偏差产生的梯度会沿通信链路回传到发送方的编码器,让发送方学会“传什么能帮队友把动作做对”;
- 隔墙交替取笔:两台机器人隔着挡板互不可见,轮流担任领队和跟随者,48组测试中,不共享信息时整轮成功率为0%,接入CoMind后为100%;
- 盲盒置物:不共享信息时只能盲猜,准确率38.9%;转发完整视觉特征(160个Token)为72.2%;CoMind只传32个Token,通信量减少80%,准确率反而升至88.9%;
- 消融实验:去掉任务进度对比学习,取笔任务流程得分从100%降至68.9%;冻结第一阶段编码器、不做联合微调,得分为83.3%。
此外,星尘还展示了纸箱组装、叠被收纳、冰箱补货和哑铃组装四项真机任务,覆盖视觉遮挡、柔性物体和精密装配等不同难题。
为什么重要
多机器人协作一直卡在两个难题上:怎么协调决策、怎么高效交换信息。中心化调度适合分工明确的任务,但面对需要频繁微调的精细操作容易慢半拍;各自为战的分布式方案又受限于单机视野,一旦被遮挡就失去依据。而如果把摄像头画面原样转发,带宽压力大,接收方还得从大量无关背景中重新找重点。
CoMind的思路是让“交流”直接为“动作”服务:信息好不好,不看画面还原得像不像,而看能否帮队友做对动作。“少传反而更准”的实验结果也说明,冗余信息本身就会干扰动作模型的决策。
影响和展望
需要客观看待的是,据报道,现阶段CoMind的“主动共享”指的是以任务为条件主动提纯信息,而非机器人自主决定何时发送、发给谁;论文把异步通信和选择性路由列为下一步研究方向。星尘还计划把框架从“共享信息”延伸到“共享意图”,让机器人能预判彼此的下一步并主动补位。
随着单台机器人在VLA模型驱动下越来越能干,搬运大件、组装设备、流水线衔接等需要多台机器人配合的场景,将成为具身智能落地的下一道门槛。斯坦福的CHORUS等研究也在探索这一方向,多机协作正成为具身智能的新热点。
参考来源
- 星尘智能官网:CoMind – Be My Eye 超越自身视角 探索多机器人协作的新范式
- 量子位:中国机器人学会隔墙“递眼色”!成功率从0飙到100%
- 网易:业界首个主动共享、多机协同具身框架CoMind
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4644.html