你可能外传过 OpenAI 的 Sora，用数百万视频、千万好意思元考验出的 AI 视频模子。

但你能思象，有团队只用3860 段视频、不到 500 好意思元本钱，也能在要道任务上作念到 SOTA？

比如这个图生视频：攀岩者在小行星攀岩，东说念主体招引与天外光影圆善仿真。

视频扩张亦然不在话下，给定肇始帧或收尾帧，让存钱罐小猪径直在大溪地的冲浪圣地上冲浪。

这些讲究的视频就来自于香港城市大学等团队最新联接发布的图像 - 视频生成模子—— Pusa V1.0（菩萨 1.0）。

Pusa V1.0 在基础大模子 Wan2.1-T2V-14B 的基础上引入向量时期步相宜（vectorized timestep adaptation，VTA ）机制，仅使用3860对视频 - 翰墨数据、约500好意思元本钱进行微调，就在在图像转视频 ( I2V ) 高出了 Wan-I2V-14B，收场了 SOTA，并解锁了诸多零样本任务能力。

500 好意思元收场 SOTA

如上文所说，Pusa V1.0 文本到视频（T2V）模子 Wan-T2V-14B 微调而来，用于图像到视频生成（I2V）。

与其他会龙套基础模子架构的微调模子不同，Pusa 遴荐 VTA 机制，从而收场最小、非龙套性的优化，将时期步长从标量扩大到矢量。它都备保留了基础模子的预考验先验，并收场了更灵验的时期学习。

全面的任务因循

凭借其生动的矢量化时期步相宜政策，Pusa 仅需10个推理门径就无意奉行多种视频生成任务。

这些能力都是其"透露属性"，无意以零样本阵势（无需任何任务特定的考验）扩张到：图像到视频、初始 - 收尾帧、视频扩张、翰墨转视频、视频转场等任务中。

举例，以 9 个肇始帧（左视频）和 12 个收尾帧（右视频）动作条目，让模子生成中间的 60 帧画面。

或者，径直输入翰墨，让模子把一辆汽车从金色造成白色。

VTA 怎么让视频生成更当然？

由于视频实质上是按固定帧率（如电影的每秒 24 帧）一语气播放的一系列图片。在视频扩散模子（VDM）中，模子往往将整段视频拆解为逐帧图像进行建模。

在传统的作念法中，悉数帧分享一个标量时期步长变量，模子对悉数帧同步进行相通程度的降噪。不外，这就意味着让悉数帧在降噪经由中措施一致，同期演化。

由此，背面的画面无法得到前一帧画面的敛迹信息，从而使 I2V（image-to-video）的效率过于僵硬。

此外，由于图像输入不同于恶浊空洞的文本输入，其动作刚性条目，对"视频生成开端"截止特别严格。模子在保执原图敛迹的同期，必须我方"猜"这个图像之后会奈何动。

因此，为了生成连贯动态的视频，不同帧之间应该以不同速率 / 时期情状进行演化，从而让后续帧的去噪经由能尽可能的收到前一帧先验的戒指。

由此，量度建议 VTA，为每一帧引入一个独处的时期编码。这么就允许模子能对每帧的去噪程度和时期位置进行讲究戒指，从而更好地模拟践诺中帧的时序演化，使生成的视频在动态推崇上更连贯、当然。

具体而言，VTA 通过帧感知的流匹配（Frame-Aware Flow Matching, FAFM）使每一帧无意独处演化，同期赋予模子对同步与异步时期结构的建模能力。最终，它通过向 DiT 注入自界说的时期镶嵌，收场了高效、斡旋、非龙套性的多任务视频生成。

在考验层面，Pusa 遴荐了帧感知的流匹配（FAFM）目标函数，模拟每一帧在时期轴上独处演化的理思速率。此外，为了永久保执肇始图像动作条目敛迹，其对应的时期步重量在通盘推理经由中都被配置为零。

在模子结构上，VTA 则将这一目标通过向量时期步镶嵌落实到 DiT 框架中，收场推理阶段的帧级动态戒指。

在推理时，Pusa 允许为每一帧指定不同时期步长，从而收场肇始帧固定、末帧补都、要道帧敛迹等多种时期戒指政策。这种"从目标到机制"的结合，是 Pusa 不仅生成当然，更易泛化的要道。

Pusa V1.0 使用 LORA＋DeepSpeed Zero2 在 8 张 80GB 内存的 GPU 上进行微调。实验标明，Pusa V1.0 高出了相似基于 Wan-I2V-14B 微调而来的 Wan-I2V，收场了 SOTA。

与此同期，Pusa V1.0 所需的参数更新数比 Wan-I2V 少 10 倍以上，这标明 Pusa 只是关心与时期关系的模块，从而保留了基础模子的先验学问。与之相对的，Wan-12V 则推崇出对基础模子先验学问的龙套。

不错说，Pusa V1.0 以极致轻量化的考验本钱为之后的视频生成开导了可扩张且多功能的模范。

模子现在已开源，细目可参考文末结合。

One More Thing

凭据 Pusa 的先容文档，模子的称号源于汉文中的菩萨（"千手不雅音"）。

不雅音菩萨多手的图案标志着她贯注的体贴和无量的能力。

团队遴荐这个称号是为了标明模子使用多个时期步长变量来收场丰富的视频生成遵循。

模子更小，意味着它能更快地干预每个东说念主的电脑，而唯一当技能真确做事于每一个创作家的时候，它才成为了真确的"菩萨"。

参考结合：

[ 1 ] 技俩主页：https://yaofang-liu.github.io/Pusa_Web/

[ 2 ] huggingface:https://huggingface.co/RaphaelLiu/PusaV1

[ 3 ] arxiv:https://arxiv.org/abs/2410.03160

一键三连「点赞」「转发」「留神心」

接待在评述区留住你的思法！

—  完  —

专属 AI 产物从业者的实名社群，只聊 AI 产物最落地的真问题   扫码添加小助手，发送「姓名 + 公司 + 职位」恳求入群～

进群后，你将径直得到：

  � � 最新最专科的 AI 产物信息及分析 � �  

  � �   不依期披发的热点产物内测码 � �

  � �   里面专属内容与专科筹议 � �

� � 点亮星标 � �

科技前沿进展逐日见开云kaiyun下载官网手机版