苹果发布FastFrames视频生成模型:小模型单卡一帧约35.4毫秒,大模型由Wan2.1-14B蒸馏而来

苹果在Hugging Face发布FastFrames-S和FastFrames-L两款视频生成模型,均为自回归、两步扩散,输出832×480、81帧、16帧/秒的视频。官方示例显示,13亿参数的S模型在单卡、满KV缓存时总延迟约35.4毫秒;14B的L模型由Wan2.1-14B蒸馏而来。

发生了什么

11月17日,苹果在Hugging Face上发布了FastFrames-S和FastFrames-L,并同时给出官方实现。仓库介绍称,这是论文《FastFrames: Video Generation at Interactive Latency》的配套代码与权重,作者包括Gene Chou、Guandao Yang、Fujun Luan、Lars Mescheder、Wei Dong、Stephan R. Richter和Vladlen Koltun。两款模型都是自回归、两步(two-step)视频扩散模型,官方的定位是以交互式延迟生成480p视频。

同一仓库还发布了优化版的LingBot 1.3B。官方称,这一版本比原来的官方模型快16倍,并允许流畅的相机条件控制。也就是说,这次放出的不只是两套文生视频权重,还包括一套偏交互控制的世界模型相关实现。

关键细节和数据

按仓库说明,文生视频的默认输出是832×480分辨率、81帧、16帧/秒的视频,大约对应五秒左右的片段。S模型参数量为13亿,L模型为140亿。运行环境写明为Linux x86-64、NVIDIA GPU,以及兼容CUDA 12.8的驱动程序。

延迟数字目前写得比较具体的是FastFrames-S。在一张GPU、480p、满KV缓存的示例剖析里,各部分耗时为:扩散变换(DiT)在时间步t=1000时16.1毫秒、t=833时16.2毫秒,KV refinement 2.2毫秒,像素解码器0.9毫秒,合计35.4毫秒,论文中的对应数字是36毫秒。16帧/秒意味着每一帧的时间预算约为62.5毫秒,因此这一示例延迟低于单帧预算。需要记住的是,这是官方在给定条件下的组件计时,并不等于任意提示、任意分辨率或端到端编码导出都能稳定维持同样的速度。

FastFrames-L的官方延迟评测脚本需要8张GPU,仓库没有在同一张表里给出它的单卡总延迟,这里也不另行估算。训练路径则写得比较清楚:FastFrames-S冻结了Causal Forcing++的两步逐帧生成器,只训练它周围的网络;FastFrames-L先按Causal Forcing++的配方,把Wan2.1-14B蒸馏成两步因果模型,再像S模型那样训练像素解码器和KV refinement网络。苹果还表示会放出全部检查点,包括在Wan2.1-14B生成的潜变量上训练的因果教师模型、一致性蒸馏模型、DMD蒸馏模型,以及最终的生成器、像素解码器和KV refinement网络。

许可方面需要分开看。仓库写明:LingBot-World v2的代码和权重遵循其上游的CC BY-NC-SA 4.0许可;其余FastFrames代码采用Apple Sample Code License。这与Apache 2.0一类可宽松商用的开源许可并不相同,下载权重不等于可以按任意方式商用或再分发。实现上,作者感谢Wan2.1、Self-Forcing和Causal Forcing++的开源工作,并说明FastFrames的代码与模型建立在这些项目之上。

为什么重要

视频生成要进入真正的交互,关键不只是把分辨率做高,而是把单帧延迟压进人类可以连续操作的时间窗口。苹果把“交互式延迟”写进标题,并用单卡35.4毫秒的剖析来支撑这一点,针对的是现有大规模视频扩散模型往往要多步去噪、难以边调边看的问题。两步、自回归、再加KV refinement和像素解码器,是一条明确偏向速度的技术路线。

与此同时,140亿参数的L模型并非从零训练,而是从已有的Wan2.1-14B蒸馏而来,并公开中间检查点。对想复现或继续改进的研究者来说,这比只给一个最终权重更有用:可以看到教师模型、不同蒸馏阶段和最终生成器之间的差别。当然,许可条款决定了谁能把这些权重用到产品里,这一点不能被“已经挂在Hugging Face上”所掩盖。

影响和展望

对有NVIDIA GPU的研究团队,这两款模型提供了一条可以本地复现的交互式视频生成基线,也给相机可控的LingBot演示留了入口。仓库还提供了VBench评测指南,用来复现论文表1中的质量、语义和总分,但页面本身没有直接列出这些分数,因此本文不转述未经核对的榜单数字。

接下来更值得观察的,是L模型在多卡条件下的实际延迟和画质,以及Apple Sample Code License会在多大程度上限制二次开发和部署。若只是在论文和演示层面追求“一帧几十毫秒”,S模型已经给出了可核查的计时;若要把类似能力放进面向消费者的产品,还需要看苹果是否会另做工程化和许可安排。目前可以确认的,只是研究代码与权重已经公开发布。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4755.html

赞 (0)
英伟达推出Nemotron for Science:开放近5万道化学题,实验室反馈后量子点实验准确率提到61%
上一篇 4天前
波士顿动力与格罗方德扩大合作:Spot将覆盖全球晶圆厂,Atlas明年年初首次进入半导体制造测试
下一篇 4天前

相关推荐

发表回复

登录后才能评论