发生了什么
美国时间11月10日,英伟达自动驾驶与物理AI研究负责人Marco Pavone等人在官方技术博客上发布Alpamayo 2 Edge。这是一款面向车端部署的自适应推理视觉-语言-动作(VLA)模型,目标是在车载算力和延迟的硬约束下,把“会解释自己为什么这么开”的推理型驾驶模型真正装进车里。模型和配套的评估模型AlpaJudge都已上架Hugging Face。
关键细节和数据
架构上,Alpamayo 2 Edge采用Cosmos 3 Edge中基于Nemotron的20亿参数推理骨干,搭配一个扩散动作专家。它读取多路环视摄像头画面、时间上下文、历史自车运动和导航指令,输出“因果链”(Chain-of-Causation)推理文本和未来行驶轨迹。
最大的特点是“自适应推理”:遇到常规路况时,模型会输出一个特殊标记代替整段推理,节省token和算力;只有在复杂场景下才展开推理。训练上,它用更大的Alpamayo 2 Super自动生成的推理标注做离线蒸馏,再在仿真环境AlpaGym中做闭环强化学习,英伟达称闭环驾驶表现比未经闭环强化学习的最佳版本提升48.9%。
部署方面,英伟达给出了在DRIVE AGX Thor上的完整流程:FP8校准、导出ONNX、用TensorRT Edge-LLM构建引擎,并用DFlash2做投机解码加速。优化后从像素输入到输出轨迹的延迟为160至190毫秒,具体取决于推理长度。
与4B参数的Qwen-Drive-1.0对比,英伟达称Alpamayo 2 Edge在AlpaSim仿真中“两次责任事故之间的行驶距离”约为对方的60倍。早期合作伙伴的反馈也很积极:英国公司PORT称,在其伦敦街景重建场景中,保持车道的成功次数是Alpamayo 1.5的两倍多;Niulinx称零样本评测中位移误差降低13.6%,用自家数据微调后再降44.2%;Embedl表示不到48小时就让模型在Thor上以10赫兹实时规划。
为什么重要
推理型端到端模型的优势在于可解释,但通常体积大、速度慢,难以满足车端实时要求。Alpamayo 2 Edge的思路是“小模型+按需思考+车端专项优化”,在能力和延迟之间找平衡。
同时发布的AlpaJudge则补上了评估这一环。它分为两个版本:基于参考答案的AlpaJudge-RB输出一个对齐概率;无需参考答案的AlpaJudge-RF读取前视广角和长焦各三帧画面及动作上下文,从动作安全、要素是否有依据、因果是否一致等维度打分。英伟达建议用它筛选训练数据,并把推理分数作为强化学习奖励的一部分,防止模型“说得头头是道,开得却不对”。
影响和展望
对车企和自动驾驶公司而言,英伟达正在提供一整套从模型、仿真、评估到车端部署的开放工具链,这也会进一步巩固DRIVE Thor平台的生态地位。不过,目前公布的多为仿真和早期测试结果,模型在真实道路上的长期安全表现,仍需要更大规模的实车验证。
参考来源
- NVIDIA技术博客:Running AV Reasoning Models Within Onboard Compute and Latency Limits
- Hugging Face:nvidia/Alpamayo2-Edge
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4537.html