两台机器人隔着墙也能默契配合:星尘智能发布多机协同框架CoMind,只传32个Token,盲区放置准确率从38.9%升至88.9%

一台机器人看得见、另一台看不见,怎么配合?星尘智能给出的答案是:别把整段画面都发过去,只把队友做决策需要的那几条信息提炼出来。新框架CoMind让双臂机器人在隔墙、遮挡等场景下完成了接力拿笔、叠被子、组装哑铃等任务。

发生了什么

11月13日,深圳具身智能公司星尘智能(Astribot)发布多机器人协同框架CoMind(全称CoMind – Be My Eye),对应论文《Be My Eye: Learning to See Beyond a Robot’s Own Perspective》已提交arXiv。星尘称这是业界首个“主动共享、精选任务上下文”的多机协同模型框架,核心理念是:协作不在于共享一切,而在于传递真正影响决策的信息。

星尘智能此前以绳驱机器人本体和自研具身基座模型Lumo系列为人所知,今年7月发布的Lumo-2已把多机器人、人机协作纳入能力展示。

关键细节和数据

  • 两阶段框架:第一阶段做“任务导向的上下文压缩”,把头部和双腕多视角相机画面结合任务指令,压缩成固定预算的紧凑潜空间Token(默认32个);第二阶段做“双向共享与联合优化”,接收方把队友的上下文与自身视觉、语言指令和本体状态融合,输入预训练的视觉—语言—动作(VLA)策略生成连续动作;
  • 两个学习目标:面向任务的未来预测(借助视觉语言模型评估画面区域与任务的相关性并加权),以及基于软标签的任务进度对比学习,让共享信息隐含“在做什么、做到第几步”;
  • 动作级反向传播:训练时,接收方动作偏差产生的梯度会沿通信链路回传到发送方的编码器,让发送方学会“传什么能帮队友把动作做对”;
  • 隔墙交替取笔:两台机器人隔着挡板互不可见,轮流担任领队和跟随者,48组测试中,不共享信息时整轮成功率为0%,接入CoMind后为100%;
  • 盲盒置物:不共享信息时只能盲猜,准确率38.9%;转发完整视觉特征(160个Token)为72.2%;CoMind只传32个Token,通信量减少80%,准确率反而升至88.9%;
  • 消融实验:去掉任务进度对比学习,取笔任务流程得分从100%降至68.9%;冻结第一阶段编码器、不做联合微调,得分为83.3%。

此外,星尘还展示了纸箱组装、叠被收纳、冰箱补货和哑铃组装四项真机任务,覆盖视觉遮挡、柔性物体和精密装配等不同难题。

为什么重要

多机器人协作一直卡在两个难题上:怎么协调决策、怎么高效交换信息。中心化调度适合分工明确的任务,但面对需要频繁微调的精细操作容易慢半拍;各自为战的分布式方案又受限于单机视野,一旦被遮挡就失去依据。而如果把摄像头画面原样转发,带宽压力大,接收方还得从大量无关背景中重新找重点。

CoMind的思路是让“交流”直接为“动作”服务:信息好不好,不看画面还原得像不像,而看能否帮队友做对动作。“少传反而更准”的实验结果也说明,冗余信息本身就会干扰动作模型的决策。

影响和展望

需要客观看待的是,据报道,现阶段CoMind的“主动共享”指的是以任务为条件主动提纯信息,而非机器人自主决定何时发送、发给谁;论文把异步通信和选择性路由列为下一步研究方向。星尘还计划把框架从“共享信息”延伸到“共享意图”,让机器人能预判彼此的下一步并主动补位。

随着单台机器人在VLA模型驱动下越来越能干,搬运大件、组装设备、流水线衔接等需要多台机器人配合的场景,将成为具身智能落地的下一道门槛。斯坦福的CHORUS等研究也在探索这一方向,多机协作正成为具身智能的新热点。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4644.html

赞 (0)
你问的未必是你真正想解决的:Ai2发布XYBench,8115道题测出大模型不善纠正用户的“错误提问”
上一篇 2026年11月14日 下午3:07
19座电动客机载人飞上天:中国商飞CE-25A完成首次有人驾驶智能飞行,型号合格证申请已获受理
下一篇 2026年11月14日 下午3:08

相关推荐

发表回复

登录后才能评论