快手可图与华中科技大学提出VGT， 让任意 VLM 摇身一变成为 SOTA 图像生成模型！

1.1 VGT 的颠覆性

要理解 VGT 的颠覆性，我们得先看清当前自回归生成模型是怎么做的：

目前的自回归（Autoregressive, AR）图像生成模型通常依赖Diffusion系列中的VAE，其作为视觉表征与自回归的语言模型（LLM)）Gap非常大。通俗来讲就是语言模型不认识VAE，这就导致 AR 模型需要海量数据和计算资源去“硬啃”这些新视觉，训练不仅慢，而且难以收敛。

(a)中展示了当前自回归生图模型的粗暴做法，通常他们探索了一系列正则化方法使得语言模型(LLM)去更容易学习，但是事实上没有解决本质问题：VAE的空间与语言模型LLM存在天然的差距。于是我们提出了VGT(b)，直接利用VLM原生的图像表征去生成，仅微调好后展现了强大的生成能力，比之前用VAE的效率和上限都提高了(c)

1.2 VGT 的关键突破

要明白VGT做了什么，我们要先回到现在视觉语言模型（VLM）：可以看成是“理解派”，这类模型经过海量数据预训练，早已具备 “看懂图 + 听懂话” 的能力，比如精准回答 “图里的猫在左边还是右边”，但它只会 “解读” 世界，不会 “创造” 世界；

经过VGT微调，VLM便能具有强大的生图能力，这直接证明了：“理解”模型VLM内部存在着非常好的创造潜力。

而 LLaVA当年用 “视觉指令微调”，打破了语言模型（LLM）“看不懂图” 的壁垒。如今 VGT 致敬这一思路，用 “视觉生成微调”(VGT) 让 VLM 学会了 “画图”—— 这不仅是技术传承，更实现了关键突破：已经拥有强大理解能力的VLM，仅需少量微调，即可涌现强大的生图能力。

既然核心痛点，VGT 又是如何打破这层壁垒的？答案藏在它对 “表征（Representation）” 与 “生成（Generation）” 关系的重新定义里不同于盲目堆砌算力，VGT 通过精细的语义对齐（Semantic Alignment）和流形正则化（Manifold Regularization），在连续潜在空间中实现了高效的自回归建模。

2.1 动机：打破“语义-像素”的二元对立

我们先通过聚类分析，找到了当前视觉生成的“根本性矛盾”：

• 像素级编码器（如 DC-AE）： 眼里只有纹理（Texture），比如会把相似的皮毛、布料纹理聚在一起，但在高层语义上是混乱的，导致 AR 模型难以捕捉全局结构，就像拿着一堆打乱的拼图碎片，根本拼不出全局结构。

• 语义级编码器（如 InternViT）：眼里只有类别（Category），比如能精准区分猫、狗、汽车，但直接用它生图会丢光细节 —— 画出来的猫只剩轮廓，没有毛发纹理，更谈不上真实感。

其实自回归模型的收敛速度与生成质量，本质上取决于 Latent Space 的语义结构。VGT的目标是构建一个既具备 VLM 判别性语义，又兼容像素级重构的混合表征空间——让生图模型既能 “听懂指令”，又能 “画好细节”。

(图注：不同视觉编码器的特征聚类可视化。VGT-AE（中间）成功实现了语义结构与纹理细节的统一，这种结构化的 Latent 分布是高效 AR 建模的关键。)

2.2  VGT-AE：面向生成的语义对齐 Tokenizer

传统的 VAE 只懂像素，不懂语义，翻译出的 “图像密码” 逻辑混乱。为了解决这个问题，VGT 提出了 VGT-AE，它复用了 VLM 的视觉编码器（Vision Encoder），通过两阶段训练策略（自蒸馏 + 噪声正则化），将高维语义特征压缩为紧凑的结构化 Latent。

训练方法：

Stage 1：语义自蒸馏 (Semantic Self-Distillation)

怕微调时 VLM 忘了 “怎么理解语义”，我们设计了复合损失函数：除了常规的重构损失（MSE+LPIPS+GAN），引入了关键的自蒸馏项：

这迫使 Encoder 在学习像素重构的同时，必须保持与原始 VLM Teacher 的语义一致性。简单说，就是逼着编码器在学 “还原像素” 的同时，必须牢牢记住 VLM 原本的语义知识 —— 不能练着练着就 “听不懂话” 了。

Stage 2：流形正则化 (Manifold Regularization)

之前的研究表明，无约束的 Latent 分布会导致 Flow Matching 训练不稳定。为此，我们冻结 Encoder，仅优化 Decoder 和投影层，引入通道归一化与噪声注入：

这一步将 Latent 强行拉回标准高斯先验附近，极大地平滑了后续生成任务的优化景观。这就像给特征分布 “定规矩”，让后续生图时的优化过程更平稳，不容易画崩。

结果：哪怕把图像压缩 28 倍，VGT-AE依然能实现了26.67 PSNR和0.50 rFID的重建质量，远超专门设计的 VAE（比如 DC-AE）。

解决了 “特征表征” 的问题，又遇到了自回归生成的老毛病：“一笔一笔按顺序画”，不仅慢，还容易搞混空间关系。

VGT 摒弃了传统的离散 Token 预测（分类任务），转而在连续空间中进行回归预测。过去多个研究(MAR, Fuild)发现自回归生成时随机序列建模优于光栅顺序，因此我们提出了QueryAR，一种解耦了“位置”与“内容”的生成机制, 能够不改变下一个 token 生成范式的情况下，实现随机序列建模和并行生成。

【相关阅读】