蚂蚁与西湖心辰开源双向世界模型Duo:角色能自己决定何时开口,768×576下生成约200到450毫秒

蚂蚁技术研究院与西湖心辰11月17日发布并开源Duo v1,这是双向世界模型(RWM)的首个实现。它把意图模块和实现模块耦合在同一时间线上,可在全双工音视频中决定开口或倾听。

发生了什么

11月17日,蚂蚁技术研究院与西湖心辰共同发布了Duo v1。据“蚂蚁开源”公众号当天消息,以及第一财经等报道,Duo是双向世界模型(Reciprocal World Model,RWM)的第一个实现:它不再只是根据键盘、手柄或文本指令去“演”一个世界,而是让世界里的角色持续感知用户的声音和画面,并自己决定何时开口、何时倾听、何时打断。

与发布同步,研究团队公开了技术报告,并把代码和模型权重放到了GitHub、Hugging Face和项目主页上。GitHub仓库为inclusionAI/Duo,Hugging Face上的合集是inclusionAI/duo-v1,项目主页为duo-v1.github.io。技术报告同时发布在arXiv(编号2611.15131)。报告写道,Duo v1只是第一步,下一版本将很快到来。

关键细节和数据

报告把RWM的能力拆成彼此并列的两部分:Intent(意图)负责交互中的认知和参与决策,Realization(实现)负责生成连贯的音频和视频。Duo v1采用模块化实现,而不是把两者做成单一模型。交互按块进行:每一块是17帧视频,在24帧/秒下约0.71秒(精确写为17/24秒,约708毫秒)。

意图模块并不是只给扩散模型当“指令编码器”。它会在每一块上自回归地做参与决策:输出“说话”并跟上文本,或输出“等待”。传给实现模块的,主要是隐藏状态,而不只是解码后的文字。报告还提到,因为大部分时间片段里助手并不会新开口,训练时用了面向动作的再平衡,避免模型塌缩成一直等待;并用历史扰动,让它在先前回复不完美时仍能恢复。

为实现实时交互,音视频被压进紧凑的潜变量。音频每声道每秒40个潜向量;视频按17帧一组编码成5个潜在帧。实现模块在蒸馏后成为四步的流式生成器。训练数据既包括按剧本合成的视频通话,也包括真实录制的对话,音频、视频和文本对齐在同一条时间线上。

延迟数字来自报告第6节对单机八卡推理流水线的测量。意图推理约90到160毫秒,取决于输入和上下文长度;在768×576分辨率下,联合生成音视频潜变量约200到450毫秒;数据搬运、传到前端和显示处理等开销约40毫秒。这三项合计约330到650毫秒。此外,把17帧采样窗收齐还可能再增加最多约708毫秒的采样等待。解码一个4帧组约30毫秒。系统在一台配备八块GPU的服务器上运行:意图模块用四路张量并行,实现模块做四步去噪后再做一次“干净”前向以写入缓存。

在交互形态上,报告列举的不只是对谈。用户可以出示真实物体、改写虚拟场景、引导助手,或在不使用鼠标和键盘的情况下进行音视频游戏。项目主页用实时(causal-dmd)和离线(bi-direction)演示来展示双方如何互相回应。需要说明的是,报告并未在摘要中给出与外部系统对比的单一总分,上述延迟是作者在特定分辨率和八卡流水线下的测量结果。

为什么重要

过去两年的世界模型,大多把“世界”理解成可被操控的场景:外面的人发出指令,模型负责把下一帧画面演真。Duo把一个更棘手的问题写进了模型内部——虚拟角色要不要在这一瞬间说话。这让它更接近全双工的共同在场,而不只是“能生成很长的视频”。

把意图和实现耦合在同一时间线、并用因果掩码禁止看到未来输入,是为了让系统在对方还没说完时就能决定插话或保持沉默。对陪伴、讲解、远程协作这类场景,这一点比分辨率本身更关键。开源代码和权重,则让其他团队可以复核流水线、延迟和训练设定,而不必只看演示视频。

影响和展望

目前可以确认的是:Duo v1已经随技术报告和开源仓库发布,定位是双向世界模型的首个实例,交互粒度约为0.71秒一块,官方给出了768×576分辨率下约200到450毫秒的生成耗时,以及约330到650毫秒的端到端关键路径。它还不是一个已经大规模产品化的消费级应用,推理也运行在八卡服务器上的流式流水线里。

下一步更值得看的,是公开权重在第三方机器上能否复现相近延迟,以及报告中提到的下一版本会把统一模型、更长上下文还是更低硬件门槛作为重点。在这些问题有独立验证之前,适宜把它理解为一项新的交互范式实验,而不是已经可以替代现有语音助手或视频生成工具的成品。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4768.html

赞 (0)
微软发布首个语音到语音模型MAI Realtime 1:起步价每音频分钟0.01美元,并兼容OpenAI实时接口
上一篇 4天前
工信部发布首批5项人形机器人行业标准:智能化能力分L0到L5,自发布之日起实施
下一篇 4天前

相关推荐

发表回复

登录后才能评论