英伟达:Vera Rubin NVL72在AgentX上每兆瓦吞吐最高可达GB300的约30倍

英伟达于11月5日发文称,从GB300到Rubin,单卡容量仍约288GB,带宽升至19.2TB/s;在SemiAnalysis AgentX上,Vera Rubin NVL72以每用户每秒160个token衡量,每兆瓦吞吐最高可达GB300 NVL72的约30倍。

发生了什么

11月5日,英伟达在开发者博客发表题为《Five Ways NVIDIA Co-Design Maximizes the Value of Every Byte in the AI Factory》的文章,把“AI工厂”的瓶颈从显存容量转向每字节能产出多少有用工作。文中给出的跨代对比是:从GB300到Rubin,单卡高带宽存储器容量仍保持约288GB,带宽则升至19.2TB/s;在回放真实编程智能体会话、包含工具调用空隙和不断变长上下文的SemiAnalysis AgentX基准上,NVIDIA Vera Rubin NVL72以每用户每秒160个token衡量,每兆瓦吞吐最高可达GB300 NVL72的约30倍。

官方强调,同样是每卡288GB,容量本身解释不了约30倍的提升,差别在于权重、KV缓存和空闲会话如何被整机协同安排。

关键细节和数据

文章把协同设计拆成五个杠杆。第一是NVFP4:4位E2M1数值配合每16个值共享的FP8块缩放和张量级FP32缩放。用于权重时,模型体积相对FP16约缩小3.5倍、相对FP8约缩小1.8倍。官方称,在GB300上对DeepSeek R1、并以相同交互性衡量,NVFP4的每兆瓦吞吐最高可达FP8基线的约4倍;把KV缓存也做成NVFP4,体积可比FP8最多再减约50%。

第二是宽专家并行。TensorRT-LLM把专家分散到8张或更多GPU上。以DeepSeek-R1、专家并行度64为例,每张GPU每层只保留4个专家。GB200 NVL72上,较大的专家并行(EP32)在每用户每秒100个token时,每GPU输出token最高可比EP8多约1.8倍。Vera Rubin NVL72沿用同一思路:每颗Rubin GPU最高带288GB HBM4和每秒3.0TB的NVLink 6带宽,整机柜大约有20.7TB HBM4。

第三是分布式推理层NVIDIA Dynamo:按KV前缀重叠和负载做感知路由,把预填充与解码拆到不同GPU池,并把缓存块在GPU、CPU和存储之间分层,减少重复预填充。第四是Vera CPU:88个Olympus核心,官方称单线程性能约为对比对象的1.8倍,每颗最多提供1.5TB LPDDR5X,并以每秒1.8TB的NVLink-C2C与Rubin相干连接,用来在工具调用间隙暂存闲置KV缓存。第五是面向机柜组的CMX上下文存储,官方称在长上下文推理中,相对传统存储最高可带来约5倍的每秒token和约5倍的能效。

需要区分的是,这与日前关于Vera CPU如何服务“GPU推理加CPU执行”循环的介绍是同一代平台上的不同切片:前者聚焦主机处理器,本文则把约30倍的AgentX结果归到整条存储器栈。

为什么重要

智能体推理不是一条连续的解码流。一次会话会在模型步进和工具调用、代码执行、检索之间来回切换;工具还没返回时,若把该会话的KV缓存继续占在HBM里,其他请求就会来争同一块最贵的存储器。英伟达把约30倍写成“同样的288GB被用得更值”,等于承认下一代差距将更多来自缓存复用、专家放置和存储分层,而不是再堆一层容量数字。

对要采购机柜的云厂商和大型实验室,这意味着评测清单必须加上带真实工具空隙的智能体基准,而不能只看满负载解码的峰值token。

影响和展望

短期,外界会拿独立评测对照这组“最高约30倍”的官方数字——不同模型、不同并发和不同交互性目标下,倍数可能明显收窄。中期,若NVFP4、Dynamo和CMX成为默认组合,长上下文智能体的成本曲线会更取决于缓存命中率,而不是单卡标称算力。对中国的推理软件栈来说,可对照的是:4位精度、宽专家并行和跨节点KV复用能否做成可运营的一体方案,而不只是单点内核优化。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4458.html

赞 (0)
Figure总部挤满Figure 03:创始人两段视频展示数十台人形与员工同行
上一篇 2026年11月8日 下午3:10
谷歌ADK 2.14让执行环境与A2A转正:30节点工作流跑200轮提速23%
下一篇 2026年11月8日 下午3:11

相关推荐

发表回复

登录后才能评论