发生了什么
11月6日,艾伦人工智能研究所(Ai2)在Hugging Face发文,介绍一种叫“FoundationWorlds”的框架:为某个具体机器人场景搭一个受控的仿真世界,配上自动生成任务和训练演示的工具,以及随时间衡量机器人行为的指标。第一个成品是ToyBlocks,一个围绕桌面机械臂与积木搭建的开源仿真环境。
Ai2的逻辑类似生物学里的培养皿:真实场景太复杂,机器人到底学会了什么、为何失败很难追查;把场景缩小到可控,研究者就能改变训练数据或模型设计、重复测试,并追溯失败原因。
关键细节和数据
ToyBlocks并不只是抓取和堆叠。积木各面印有图案和字母,机器人要搜索、排序、拼出单词,有时还得先翻转积木才能看到隐藏面。系统用强化学习和运动规划生成推、翻等短程技能,训练在英伟达的Isaac Lab里完成;再由任务与运动规划器自动串联技能、生成演示,无需人工遥操作。官方称单块GPU上可并行执行数百个规划,最高达到24倍实时速度。
首批公开数据包含85336条长程演示,每条由约6至12个技能演示组成,合计近1600小时、1.44亿帧。训练出的高层模型是Molmo 2,负责选择技能并指出目标积木,低层模型是ManiFlow,负责控制机械臂。发布内容还包括仿真资产、任务与演示生成器、两个示范模型、训练与评测代码;Ai2计划数周后推出规模更大、技能更多的第二批数据。
几组实验结果值得留意。在低层动作模型的泛化测试中,ManiFlow、π0.5和MolmoAct 2在初步结果里泛化都不理想,Ai2认为动作模型泛化“远未解决”。在仿真到真机迁移上,只用仿真数据训练的ManiFlow,单项技能成功率在仿真和真机分别为80.0%和81.1%;Molmo 2加ManiFlow的分层系统在仿真中成功55.5%(111/200次),真机上为50.0%(15/30次),Ai2提示样本量还不足以建立统计置信度。真机使用Franka FR3机械臂和Robotiq夹爪,共30种场景配置。
在“智能体”实验里,Ai2用Claude Opus 5.5通过MCP调用技能。在搜索并拼词任务中,其中一半场景缺少所需字母、应当判定任务不可行,智能体成功完成或正确宣告不可行的比例为63%,错误主要来自把相似字母混淆(13%)或摆错字母朝向(15%)。当让智能体自己做实验、撰写技能说明时,成功率从默认描述的24%升至63%,高于人类专家撰写说明的36%。此外,往策略训练里加入100条来自最佳视频生成模型的推演轨迹,可把在未见区域的成功率从19%提到78%。
为什么重要
具身智能目前最大的问题之一,是演示视频很多、可复现的对照实验很少。ToyBlocks把评测拆到“高层规划是否出错、低层执行是否出错”,并提供真值状态,让研究者能分别归因,这比只报一个总成功率更有诊断价值。
同时,实验里“仿真与真机的单项技能成功率相近”提供了一个积极信号,说明受控仿真至少在这类简单任务上可以作为可信的预演场。
影响和展望
对学术团队,开源数据和代码降低了做数据配比、泛化和世界模型研究的门槛。对产业界,它提示一个务实方向:先在窄而可控的场景里把“数据—模型—失败原因”的闭环做清楚,再扩展到更复杂的环境。
Ai2也列出了下一步方向,包括双臂操作、带力觉和触觉的灵巧手,以及对无序积木堆的操作。需要注意的是,目前的场景仍是桌面积木,距离家庭或工厂的开放环境很远,其结论不应被过度外推。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4475.html