地平线发布视频几何模型LoFT:5.145亿参数,从RGB视频联合预测位姿、内参和深度

地平线机器人实验室发布原生视频几何基础模型LoFT。它采用双循环Transformer,能从RGB视频中联合预测相机位姿、内参和逐帧深度。模型约5.145亿参数,在约297万条序列、9.62亿帧图像上训练,多项深度估计指标领先。

发生了什么

11月18日,地平线机器人实验室发布原生视频几何基础模型LoFT(Looped Foundation Transformer for Video Geometry)。官方介绍,该模型能够从RGB视频中联合预测相机位姿、内参和逐帧深度,恢复场景的三维结构,为机器人空间感知、环境理解和具身学习提供几何基础。项目主页已经上线,权重标注为即将推出,目前尚未提供可下载的模型文件。

关键细节和数据

LoFT的核心是一套双循环Transformer。第一循环负责聚合跨帧视觉信息:局部注意力的时间窗口从3帧逐步扩大到5、9、17帧,并在这些局部步骤之间插入一次面向整段视频的注意力,以便利用同一地点在较远时刻的观察。第二循环为每一帧预测相机位姿和视场角,再把更新后的相机状态送回下一轮特征计算;深度和置信度则由一个稠密头按帧解码。两个循环都在迭代中复用同一组权重,因此同一个模型可以按不同的 refinement 深度运行。地平线把这种参数共享,既类比传统视觉里的迭代优化,也类比扩散、Flow Matching一类生成模型跨状态共用参数的做法。

训练数据方面,项目主页给出的规模是514.5百万参数、80个公开数据集、297万条序列和9.618亿帧图像;地平线官方新闻则写为约297万条有效训练序列和9.62亿帧图像,覆盖仿真与真实、动态与静态等场景,并经过统一的数据清洗、质量筛选和采样。

评测上,LoFT在公开重建基准SpatialBench,以及团队从公开和自采数据中整理的ClassicBench、VRBench上报告了结果。SpatialBench的完整划分包含129条序列,其中98条是不间断观察的连续视频子集;ClassicBench覆盖7-Scenes、Neural RGB-D、Bonn、TUM Dynamic、Sintel、DyCheck和KITTI等7个已有数据集;VRBench则由12个公开数据集和2个自采数据集组成,涵盖室内外、自动驾驶和机器人操作。需要注意的是,公开的VGGT-Ω检查点因作者报告可能存在数据污染,被排除在排名之外。

在这一前提下,LoFT的深度指标较为突出。以SpatialBench Medium为例,完整划分上LoFT的AbsRel为0.0637、δ1.03为0.6959,连续视频子集上分别为0.0734和0.6765,均优于表中其余列入排名的方法;连续子集上的AUC@30为0.8342,同样最高。位姿和轨迹并非全线第一:完整划分的AUC@3上,重新训练的VGGT-Ω为0.5082,高于LoFT的0.4767;连续子集的绝对轨迹误差ATE上,DVLT为0.1987,略好于LoFT的0.2131。ClassicBench和VRBench上,LoFT在多项深度和相对位姿指标上处于前列,但ATE也不是最低。官方新闻因此更准确的表述应是:在多项深度估计指标上取得领先,相机位姿与轨迹恢复“展现出良好的性能”,而不是所有指标全面第一。

为什么重要

对机器人、自动驾驶和具身智能来说,只识别“画面里有什么”往往不够,还需要知道物体在三维空间里的位置、距离,以及相机自身如何运动。现有的许多几何模型更擅长处理离散的多视角图像,而真实世界的数据大量以连续视频出现。LoFT选择把时序聚合和相机状态的显式迭代写成可扩展的循环结构,并在接近10亿帧的数据上训练,是在探索一种更贴近物理AI需求的视觉基础模型,而不只是再做一个单帧深度估计器。

影响和展望

地平线在官方稿中展示了驾驶场景、复杂生活场景和机器人第一人称视频等重建效果,并表示未来会从视频重建扩展到联合重建与生成、原生多模态泛化和自监督扩展,希望把几何表征接入空间记忆、世界模型和机器人策略学习。在权重仍未放出之前,外部团队还无法独立复核这些数字,也无法把它直接接到自己的操作或导航系统里。更值得跟踪的是模型何时开放、在污染风险更可控的对比中位姿和轨迹指标能否补齐,以及这种循环式几何表征会不会真正进入地平线的车载或机器人产品栈。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4786.html

赞 (0)
OpenAI展示芯片设计新成果:AMD旗舰GPU的PPA最多提升14%,部分改动已送去流片
上一篇 3天前
英伟达推出Cosmos Data Factory:两条提示词生成物理AI训练数据,缺陷图制备称快60倍
下一篇 3天前

相关推荐

发表回复

登录后才能评论