英伟达发布Alpamayo 2 Edge:20亿参数推理驾驶模型塞进车端,Thor上端到端延迟160至190毫秒

英伟达11月10日发布Alpamayo 2 Edge:一款20亿参数、可在车载芯片DRIVE AGX Thor上实时运行的推理型视觉-语言-动作模型。它只在需要时才“思考”,经过闭环强化学习后驾驶表现提升48.9%,配套的AlpaJudge则用来给模型的推理质量打分。

发生了什么

美国时间11月10日,英伟达自动驾驶与物理AI研究负责人Marco Pavone等人在官方技术博客上发布Alpamayo 2 Edge。这是一款面向车端部署的自适应推理视觉-语言-动作(VLA)模型,目标是在车载算力和延迟的硬约束下,把“会解释自己为什么这么开”的推理型驾驶模型真正装进车里。模型和配套的评估模型AlpaJudge都已上架Hugging Face。

关键细节和数据

架构上,Alpamayo 2 Edge采用Cosmos 3 Edge中基于Nemotron的20亿参数推理骨干,搭配一个扩散动作专家。它读取多路环视摄像头画面、时间上下文、历史自车运动和导航指令,输出“因果链”(Chain-of-Causation)推理文本和未来行驶轨迹。

最大的特点是“自适应推理”:遇到常规路况时,模型会输出一个特殊标记代替整段推理,节省token和算力;只有在复杂场景下才展开推理。训练上,它用更大的Alpamayo 2 Super自动生成的推理标注做离线蒸馏,再在仿真环境AlpaGym中做闭环强化学习,英伟达称闭环驾驶表现比未经闭环强化学习的最佳版本提升48.9%。

部署方面,英伟达给出了在DRIVE AGX Thor上的完整流程:FP8校准、导出ONNX、用TensorRT Edge-LLM构建引擎,并用DFlash2做投机解码加速。优化后从像素输入到输出轨迹的延迟为160至190毫秒,具体取决于推理长度。

与4B参数的Qwen-Drive-1.0对比,英伟达称Alpamayo 2 Edge在AlpaSim仿真中“两次责任事故之间的行驶距离”约为对方的60倍。早期合作伙伴的反馈也很积极:英国公司PORT称,在其伦敦街景重建场景中,保持车道的成功次数是Alpamayo 1.5的两倍多;Niulinx称零样本评测中位移误差降低13.6%,用自家数据微调后再降44.2%;Embedl表示不到48小时就让模型在Thor上以10赫兹实时规划。

为什么重要

推理型端到端模型的优势在于可解释,但通常体积大、速度慢,难以满足车端实时要求。Alpamayo 2 Edge的思路是“小模型+按需思考+车端专项优化”,在能力和延迟之间找平衡。

同时发布的AlpaJudge则补上了评估这一环。它分为两个版本:基于参考答案的AlpaJudge-RB输出一个对齐概率;无需参考答案的AlpaJudge-RF读取前视广角和长焦各三帧画面及动作上下文,从动作安全、要素是否有依据、因果是否一致等维度打分。英伟达建议用它筛选训练数据,并把推理分数作为强化学习奖励的一部分,防止模型“说得头头是道,开得却不对”。

影响和展望

对车企和自动驾驶公司而言,英伟达正在提供一整套从模型、仿真、评估到车端部署的开放工具链,这也会进一步巩固DRIVE Thor平台的生态地位。不过,目前公布的多为仿真和早期测试结果,模型在真实道路上的长期安全表现,仍需要更大规模的实车验证。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4537.html

赞 (0)
纽约RAISE法案进入执行倒计时:年营收超5亿美元的前沿AI公司须在明年元旦前登记,安全事故72小时内上报
上一篇 2026年11月11日 上午9:04
星链Mini 2发布:71Wh可换电池离电续航4.5小时,机身薄到23毫米,999美元含一年漫游套餐
下一篇 2026年11月11日 上午9:05

相关推荐

发表回复

登录后才能评论