发生了什么
11月5日,松下控股(Panasonic HD)与松下美国研发公司(PRDCA)宣布,联合加州大学伯克利分校、NVIDIA、斯坦福大学、罗马大学Sapienza与ItalAI,研发出机器人操作AI系统T-Rex(Tactile-Reactive Dexterous Manipulation)。它面向需要精细力控、处理柔软或易损物体的双臂任务,让机器人能像人一样根据指尖触感即时纠偏。
相关结果将于11月9日至12日在美国奥斯汀举行的机器人学习国际会议CoRL上发表,论文预印本已挂出(arXiv:2606.17055)。
关键细节和数据
技术核心是“双频协同”。视觉—语言驱动的动作生成模块以约5Hz给出整体动作;指尖触觉驱动的纠偏模块以约20Hz实时感知接触,在不反复跑高延迟视觉识别的前提下细调动作,以应对打滑或按压力过大。
训练数据方面,团队用200多种日常物体与22类基础动作,采集逾7700段、合计约100小时的双臂操作数据;每段同步记录头部与腕部相机、机器人状态与动作、十指触觉的力/形变,以及自然语言指令。预训练先从约22889小时人类第一人称视频学习广义视觉与运动知识,再经带触觉标注的机器人数据做中间训练,最后按任务用约100条示范微调。
真机评测覆盖翻页、转移鸡蛋、挤牙膏、钥匙开锁、抽卡片、拧灯泡等12项接触丰富任务。T-Rex平均成功率65%,比此前最佳基线的35%高出30个百分点;去掉触觉后成功率降至42%,说明高速触觉闭环是增益来源,而不是单纯堆视觉。
为什么重要
现有VLA(Vision-Language-Action)大多重度依赖相机;即便引入触觉,也常被当成静态特征,跟不上接触状态的快速变化。翻页、插钥匙、拧灯泡这类“人靠指尖完成”的动作,恰恰卡在力控与滑移上。T-Rex把低频规划与高频触觉纠偏塞进同一模型,给出了一条可量化的工程路径。
对制造业插拔拧紧、物流中软体与易碎品处理而言,这意味着机器人有望承担更多“必须上手感”的工位,而不只是做抓取搬运。松下在新闻稿中明确提到:目标是减轻一线负担、缓解劳动力短缺。
影响和展望
短期,这是实验室到会议的强结果,落地仍取决于触觉传感器成本、标定稳定性与产线节拍。中期,若5Hz规划+20Hz触觉纠偏的范式被更多开源与产业团队复现,具身智能的数据配方可能从“更多视频”扩展到“同步多模态接触轨迹”。
对中国产线与具身创业公司来说,启示很具体:接触任务的瓶颈常常不在更大的语言模型,而在能否以足够高的频率把力与形变喂回控制环。谁能把工业级触觉、数据采集与任务级评测跑通,谁就更接近可部署的灵巧操作。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4393.html