发生了什么
英伟达在11月19日的技术博客中写道,强化学习训练越做越大之后,传统做法已经很难撑住“出样本”这一环。训练循环里,推理工人要不断生成rollout,也就是模型输出、动作与环境交互组成的序列;框架再打分、更新权重,并把新权重送回工人,开始下一轮。作者Amr Elmeleegy、Harry Kim和Kyle Kranen指出,请求重复计算、最慢的一条样本拖住整组、权重送达不及时,以及工人中途故障,都会浪费GPU时间、拉长一次训练迭代。
他们把Dynamo放在rollout调度和推理工人之间:强化学习框架负责优化目标、奖励、环境、检查点和是否采纳某条样本;Dynamo负责路由、工人管理、服务控制与遥测;推理引擎负责生成,并在框架允许时应用新权重;权重和工件分发则交给ModelExpress。生成请求走统一的服务前端,刷新权重则在框架控制下针对指定工人进行,训练逻辑并不会被服务层“接管”。
关键细节和数据
博客把规模化强化学习的约束概括成三条。第一是完成时间:一次更新往往要凑齐一组样本,最慢的那条会挡住下一步;把请求数量均匀分到各块GPU,并不等于把工作量分匀,因为一条推理问答可能很快结束,而一条编程智能体的rollout可能包含翻仓库、改代码、调工具和跑测试。第二是重复上下文:多次尝试常常共享同一段任务说明或代码仓库前缀,反复重算这些前缀会先耗掉算力,新内容却还没开始生成。第三是权重新鲜度:训练过程中权重持续更新,工人必须按算法要求的时效拿到新权重,否则采样会过时。
针对重复前缀,Dynamo使用感知KV缓存的路由:同一任务的多次求解若被送到已经缓存该提示词的工人,就能少做一遍前缀计算;但若把全部请求都堆到同一工人,又会排队,拖慢整组样本的完成时间。路由的目标是在缓存复用和负载之间取得平衡,让训练所需的样本更早凑齐。
权重分发由ModelExpress承担。每次都把完整检查点传到所有rollout工人,既耗时也可能打断生成。ModelExpress会优先复用集群里已经在GPU内存中的权重,而不是每次都从远程存储拉取;在兼容的工人之间,还可以通过NIXL直接从另一块GPU拷贝权重。更新也可以只传压缩后的“变化量”(delta),工人再基于匹配的基础版本还原新权重,以减少传输量和网络占用。替换上来的工人可以先加载检查点,再补上后续增量,以便赶上当前训练进度;与此同时,仍健康的工人可以继续出样本。
在故障处理上,Dynamo会发现工人失联,把新请求转到仍符合条件的工人,并在替换工人就绪后重新纳入路由。受支持的配置还可以迁移尚未完成的请求,以及做平稳排空。被打断的样本如何处理、替换工人必须使用哪一版权重,仍由强化学习框架决定。
英伟达同时列举了已有采用情况:微软AI用Dynamo支撑后训练阶段的强化学习rollout推理;CoreWeave使用Dynamo和ModelExpress,称模型权重更新最快可加快约15倍;Cognition在SWE-1.7的后训练中用Dynamo管理推理工人并分流rollout;Prime Intellect用它做分布式推理编排;H Company使用Dynamo和ModelExpress,称平均训练步耗时最多可降低约20%、GPU小时数最多可降低约5%。开源方面,Dynamo已与verl、NeMo RL、Slime和prime-rl等强化学习栈打通。
为什么重要
大模型后训练越来越依赖强化学习,而且rollout早已不只是“再写一个答案”,编程智能体、工具调用和环境交互会让单条样本的长短差出几个数量级。如果服务层仍按普通在线推理来做负载均衡,GPU就会在重复前缀、等待掉队样本和全量权重拷贝上浪费掉。把路由、增量更新和故障恢复做成训练循环里的服务能力,等于承认“出样本”本身已经是分布式系统问题。对已经在用开源强化学习框架的团队来说,这也比从零再写一套调度器更现实。
影响和展望
这些加速数字分别来自CoreWeave和H Company等采用方,对应的是权重更新或训练步耗时等不同指标,不能直接理解成所有训练任务都会得到同样的倍率。英伟达也写明,该优化哪一条,取决于当时真正卡住训练的是完成时间、重复前缀还是权重时效。框架与服务层的分工意味着,Dynamo不会代替奖励设计和样本验收;团队仍要自己判断何时允许工人使用新权重、哪些结果可以进入训练。接下来更值得观察的,是这套接口在更多开源框架和云厂商里能否稳定复现,以及在超长编程智能体rollout上,缓存路由会不会重新变成新的排队点。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4829.html