往时快意无尽的 VAE开云kaiyun下载官网手机版，终于被宣判"退役"？

谢赛宁团队最新参议给出了谜底—— VAE 的期间收尾，RAE 将竭力前行。

其中表征自编码器 RAE（Representation Autoencoders）是一种用于扩散 Transformer（DiT）窥探的新式自动编码器，其中枢遐想是用预窥探的表征编码器（如 DINO、SigLIP、MAE 等）与窥探后的轻量级解码器配对，从而替代传统扩散模子中依赖的 VAE（变分自动编码器）。

这种新结构不仅能提供高质料重建结束，还具备语义丰富的潜空间，同期营救可推广的基于变换器的架构。

该法子在无需额外在示对王人亏本的情况下，完毕了更快的管制速率。通过弃取配备轻量级宽型 DDT 头部的 DiT 变体，他们在 ImageNet 上取得强盛的图像生成成果：

256 × 256 分袂率下，无联结（no guidance）FID= 1.51；

256 × 256 和 512 × 512 分袂率下，有联结（with guidance）FID=1.13。

底下具体来看。

如今，Diffusion Transformer 虽已取得长足发展，但大批模子仍依赖 2021 年的旧版 SD-VAE 构建潜空间。

这激勉了几大中枢问题：

1、落后的主干麇集，让架构过于复杂。SD-VAE 约需 450 GFLOPs 运算量，而简便的 ViT-B 编码器仅需 22 GFLOPs。

2、过度压缩的潜空间（只好 4 个通谈），严重截止信息容量。常言谈压缩催生智能，但此处否则：VAE 式压缩生效甚微，其信息承载才调与原始 3 通谈像素实在无异。

3、薄弱的表征才调。仅依赖重建窥探的方式使 VAE 学得的特征质料低下（线性探伤精度约 8%），最终拖慢管制速率并挫伤生成质料。现存参议已标明：表征质料径直决定生成成果。而 SD-VAE 的遐想初志并未涵盖此决策。

谢赛宁曾认为语义编码器主要拿获高端倪轮廓表征而会铁心细粒度视觉细节，但他现时矍铄到这个主义是失实的。

针对上述问题，参议团队弃取预窥探表征编码器（如基于要领化 ViT 架构的 DINO、SigLIP 和 MAE）与窥探好的解码器相王人集，得到了 RAE ——

无需额外窥探或对王人阶段，莫得接济亏本函数，也不引入再行压缩的适配层。

只需获得预窥探语义编码器，使用 L1+LPIPS+GAN 亏本窥探解码器即可。

尽管看起来架构如斯精辟，但 RAE 在重建质料上却能迥殊 SD-VAE。

有兴味的是，谢赛宁还认为扩散模子在高维空间中很难高效去噪，但他承认我方又错了。

由于 RAE 的潜空间实质上是高维的，扩散 Transformer 确乎需要一些适配，但只需三个相等粗拙的治愈，它们的推崇就能出乎预眼力好。

1、宽 DiT 遐想：要使扩散相同运作，变换器宽度 d 必须至少即是潜表征维度 n。若不舒服此条目，模子以致无法过拟合单个样本。

2、噪声调理：依赖分袂率的噪声调理治愈早已用于高分袂率图像生成。同理，治愈噪声调理可使扩散模子平滑得当加多的输入通谈维度。

3、噪声解码器：为提高解码器对潜空间轻捷扩散非常的鲁棒性，他们在解码器窥探中注入微量噪声。这使解码器能优雅科罚重建表征中的幽微缺欠。

凭借这些粗拙治愈，团队窥探的 DiT-XL 模子已迥殊 REPA，且无需引入任何接济亏本或额外窥探阶段。

弃取 RAE 时，管制速率比基于 SD-VAE 的 REPA 快达 16 倍。

事实标明，模子确乎需要弥漫的宽度，但单纯依靠暴力推广 DiT 宽度很快就会变得低效且不切践诺。

为此，他们引入了一个粗拙而灵验的妙技，以在 RAE 框架内提高 DiT 的可推广性。这个念念路虽与解耦扩散窥探（DDT）存在松散联系，但他们的起点千差万别。

在新架构中，原始 DiT 行为条目化主干麇集，启动一个极宽但极浅的扩散头部。该头部以含噪潜变量 x_t 为输入，径直瞻望速率向量。

借助 RAE 潜变量，DiTDH 在窥探意想打算量和模子大小方面的推广遵守，均优于基于 RAE 的要领 DiT 以及基于 VAE 的传统法子。

论文贯穿：https://t.co/FGOAP3Eg5m

参考贯穿：https://x.com/sainingxie/status/1977936742763094289

一键三连「点赞」「转发」「预防心」

接待在褒贬区留住你的主义！

—  完  —

� �  年度科技风向标「2025 东谈主工智能年度榜单」评比报名开启啦！咱们正在寻找 AI+ 期间领航者  点击了解投诚

❤️‍� �   企业、产物、东谈主物 3 大维度，共设备了 5 类奖项，接待企业报名参与   � �  

一键关爱 � � 点亮星标

科技前沿进展逐日见开云kaiyun下载官网手机版