Janus-Pro: Fast and Strong Multimodal Generation

摘要 我们提出了 JanusFlow，这是一个强大的框架，能够在单一模型中统一图像理解与生成任务。JanusFlow 引入了一种极简架构，将自回归语言模型与整流流相结合，后者是生成建模领域的最先进方法。我们的核心发现表明，整流流可以直接在大型语言模型框架内进行训练，无需进行复杂的架构修改。为了进一步提升统一模型的性能，我们采用了两项关键策略：(i) 解耦理解与生成编码器，以及 (ii) 在统一训练过程中对齐其表征。大量实验表明，JanusFlow 在各自领域内达到了与专用模型相当或更优的性能，同时在标准基准测试中显著优于现有的统一方法。本工作为构建更高效、更通用的视觉-语言模型迈出了重要一步。

大型语言模型（LLMs）在学习多样化知识和泛化至新场景方面展现出了卓越的能力[1, 7, 8, 69, 91]。借助这些能力，研究人员开发了专门用于图像理解[2, 15, 47, 49, 56, 58]和文本到图像生成[23, 73, 76, 79]的复杂模型。近年来，该领域的研究重心已转向构建能够同时处理这两项任务的统一系统。一个主要方向是利用预训练的文本到图像模型进行高质量生成，同时训练LLM为这些模型生成条件[19, 25–27, 87]。然而，这种方法引入了架构复杂性，且由于需要维护独立的LLM与生成组件，可能会限制模型的整体能力。替代方案[88, 97, 99, 100, 108]提出训练单个LLM以同时完成这两项任务，通常结合扩散模型[32, 83]或向量量化自回归模型[22, 86]。我们的方法建立在整流流模型（rectified flow models）的最新突破之上[3, 23, 55, 61, 62]，该模型为生成建模提供了一个简洁的框架，同时取得了卓越的实证性能[23, 36, 45]。基于这些进展，我们提出了JanusFlow，这是一种强大的统一多模态模型，它将整流流与LLM架构无缝集成。遵循极简设计原则，我们的架构仅需一个轻量级的编码器和解码器，即可使LLM适配整流流操作。 POPE GQA MMBench SEEDB MM-Vet GenEval MJHQ FID MME-Perception VQAv2

为优化 JanusFlow 的性能，我们实施了两项关键策略：首先，我们为理解与生成任务分别配置独立的视觉编码器，以避免任务间干扰，从而提升模型的理解能力。其次，我们在训练过程中对齐生成模块与理解模块之间的中间表示，以增强生成过程中的语义连贯性。与现有的统一方法相比，JanusFlow 在多模态理解与文本到图像生成任务上均取得了最先进的性能，甚至超越了多种专用方法。具体而言，在文本到图像生成基准测试 MJHQ FID-30k [48]、GenEval [28] 和 DPG-Bench [34] 上，JanusFlow 分别取得了 9.51、0.63 和 80.09% 的得分，超越了包括 SDv1.5 [77] 和 SDXL [73] 在内的成熟文本到图像模型。在多模态理解基准测试中，JanusFlow 在 MMBench [63]、SeedBench [46] 和 GQA [35] 上分别取得了 74.9、70.5 和 60.3 的得分，优于 LLaVA-v1.5 [56] 和 Qwen-VL-Chat [4] 等专用模型。值得注意的是，上述结果仅在使用参数量仅为 1.3B 的紧凑大语言模型架构下便已实现。

基于流生成模型的视觉生成。 近年来，扩散模型在视觉生成领域取得了显著进展[32, 83]，催生了一系列令人瞩目的模型[67, 73, 76–79]。在此基础上，基于流的生成模型[3, 55, 61]作为一种简化的替代框架应运而生。这些方法近期推动了先进视觉生成模型[23, 36]的发展，使其在实现更快采样速度的同时取得了更优的实证性能。我们的工作表明，整流流（rectified flow）[60–62]可以有效地集成到大语言模型（LLMs）中，从而构建出在理解与生成任务上均表现卓越的统一模型。 面向理解与生成的统一模型。 多模态大语言模型（MLLMs）的发展实现了文本与视觉信息的有效融合。依托强大的大语言模型[7, 91, 92]，近期的MLLMs[2, 15, 49, 56, 58, 64]已展现出卓越的多模态理解能力。当前研究日益聚焦于能够同时处理视觉理解与生成任务的架构。一种方法是通过预训练的扩散模型对MLLMs进行扩展[19, 25–27, 87, 101]。然而，这些系统本质上是将扩散模型作为外部工具使用，MLLM仅负责生成图像生成的条件，自身并不具备直接的生成能力。这种分离架构往往导致其性能不及独立的扩散模型[25, 87]。另一类工作[88, 97, 99, 100, 108]则致力于训练单一的大语言模型以同时完成这两项任务。其中许多方法采用向量量化[22, 86]将图像转换为离散标记（tokens），从而实现统一的自回归处理[88, 97]。尽管这些方法实现简单，但其性能本质上受限于图像标记化的质量。

我们的工作专注于开发结合自回归能力与流/扩散模型的统一模型，以充分利用其在视觉生成中已验证的有效性。与类似方法[100, 107, 108]相比，JanusFlow具有三大核心优势：(i) 采用整流流实现简单高效的生成过程；(ii) 通过解耦的视觉编码器解决任务间冲突，从而提升性能；(iii) 借助解耦编码器设计引入表征对齐正则化，进一步改善生成质量。

在本节中，我们将介绍 JanusFlow 的架构与训练策略。

多模态大语言模型（Multimodal LLMs）。给定包含离散词元（token）序列的数据集 \mathcal{D}，其中每个序列可表示为 x = (x_1, \dots, x_\ell)，大型语言模型（LLMs）以自回归方式训练以建模序列分布： \log P_{\theta_{LLM}}(x) = \sum_{i=0}^{\ell-1} \log P_{\theta_{LLM}}(x_{i+1}|x_1, \dots, x_i), (1) 其中 \theta_{LLM} 表示 LLM 的参数，\ell 为序列长度。在大规模数据集上训练后，LLM 展现出跨多种任务的泛化能力以及遵循多样化指令的能力 [1, 8, 69]。为使这些模型能够处理视觉输入，LLM 通常通过引入视觉编码器进行扩展 [2, 56, 58]。例如，LLaVA [58] 通过投影层将 LLM 与预训练的 CLIP [75] 图像编码器相结合，将提取的图像特征转换至联合嵌入空间，使 LLM 能够将其作为词嵌入进行处理。借助大规模多模态数据集与日益强大的 LLM，该架构推动了先进多模态模型的发展，使其能够应对广泛的视觉-语言任务 [4, 47, 56, 64]。

网络通过最小化神经网络预测的速度与连接 𝜋0 和 𝜋1 中随机点的线性路径方向之间的欧氏距离来进行训练： min 𝜃 E𝑡∼P(𝑡),𝑧0∼𝜋0,𝑥∼𝜋1 ‖𝑣𝜃𝑁𝑁(𝑧𝑡, 𝑡) −(𝑥−𝑧0)‖_2^2 , 其中 𝑧𝑡= 𝑡𝑥+ (1 −𝑡)𝑧0。 (3) 此处，P(𝑡) 为时间 𝑡∈[0, 1] 上的分布。当网络具备足够的容量且目标函数被完美最小化时，最优速度场 𝑣𝜃∗𝑁𝑁 可将基础分布 𝜋0 映射至真实数据分布 𝜋1。更确切地说，在给定 𝑧0 ∼𝜋0 的条件下，由 𝑧1 = ∫_0^1 𝑣𝜃∗𝑁𝑁(𝑧𝑡, 𝑡)d𝑡 定义的 𝑧1 的分布将服从 𝜋1。尽管概念简洁，整流流已在多种生成建模任务中展现出优越性能，包括文本到图像生成 [23]、音频生成 [40] 以及生物结构生成 [38]。

JanusFlow 提出了一种统一框架，旨在同时解决视觉理解与图像生成任务。接下来，我们将概述 JanusFlow 如何在单一的大语言模型（LLM）架构中处理这两项任务。 多模态理解。在多模态理解任务中，LLM 处理由交错排列的文本与图像数据组成的输入序列。文本被分词为离散的 token，每个 token 被转换为维度为 D_{emb} 的嵌入向量。对于图像，图像编码器 f_{enc} 将每张图像 x_{im} 编码为形状为 H_{im} \times W_{im} \times D_{enc} 的特征图。该特征图被展平后，通过线性变换层投影为形状为 H_{im}W_{im} \times D_{emb} 的嵌入序列。H_{im} 和 W_{im} 由图像编码器决定。文本嵌入与图像嵌入拼接后构成 LLM 的输入序列，随后 LLM 基于该嵌入序列自回归地预测下一个 token。遵循常见做法 [88, 97, 100]，我们在图像前添加特殊标记 `|BOI|`，在图像后添加 `|EOI|`，以帮助模型在序列中定位图像嵌入。

图像生成。在图像生成任务中，我们的 LLM 以文本序列 x_{con} 为条件，并利用修正流（rectified flow）生成对应的图像。为提高计算效率，生成过程在潜在空间中进行，并采用预训练的 SDXL-VAE [73]。生成过程首先从潜在空间中采样形状为 H_{latent} \times W_{latent} \times D_{latent} 的高斯噪声 z_0，随后通过生成编码器 g_{enc} 将其处理为形状为 H_{gen}W_{gen} \times D_{emb} 的嵌入序列。该序列与表示当前时间步 t（初始时 t=0）的时间嵌入相拼接，得到长度为 H_{gen}W_{gen} + 1 的序列。与以往采用多种注意力掩码策略的方法 [100, 108] 不同，我们发现仅使用因果注意力已足够充分，因为我们的初步实验表明，其他掩码方案并未带来性能提升。LLM 对应于 z_0 的输出通过生成解码器 g_{dec} 转换回潜在空间，生成形状为 H_{latent} \times W_{latent} \times D_{latent} 的速度向量。状态通过标准欧拉求解器进行更新： z_{t+dt} = z_t + v(z_t, t)dt, (4) 其中 dt 为用户定义的步长。我们将输入中的 z_0 替换为 z_{dt} 并迭代该过程，直至得到 z_1，最后由 VAE 解码器将其解码为最终图像。

为提升生成质量，我们在计算速度时采用了无分类器引导（Classifier-Free Guidance, CFG）： 𝑣(𝑧𝑡, 𝑡) = 𝑤𝑣(𝑧𝑡, 𝑡| 𝑥𝑐𝑜𝑛) + (1 −𝑤)𝑣(𝑧𝑡, 𝑡| ∅), (5) 其中，𝑣(𝑧𝑡, 𝑡| ∅) 表示无文本条件引导下的推断速度，𝑤⩾1 用于控制 CFG 的强度。经验表明，增大 𝑤 可获得更高的语义对齐度 [23, 62, 73, 77]。与多模态理解任务类似，我们在序列开头添加特殊标记 |BOI| 以指示图像生成的起始位置。两项任务的编码器解耦。以往在统一的 LLM 训练框架中结合自回归生成与扩散模型的方法 [100, 108]，通常对理解与生成任务采用相同的编码器（𝑓𝑒𝑛𝑐 与 𝑔𝑒𝑛𝑐）。例如，Zhou 等人 [108] 使用共享的 U-Net 或线性编码器在相同的 VAE 潜在空间中执行两项任务，而 Xie 等人 [100] 则利用 MAGVIT-v2 [102] 将图像块编码为离散标记以同时服务于两项任务。然而，近期关于统一自回归模型的研究表明，这种共享编码器设计并非最优 [97]，尤其是在通过向量量化标记进行自回归图像生成的模型中。基于上述见解，JanusFlow 采用了编码器解耦设计。具体而言，我们采用预训练的 SigLIP-Large-Patch/16 [106] 模型作为 𝑓𝑒𝑛𝑐，以提取用于多模态理解的语义连续特征；同时，鉴于其有效性，我们使用从头初始化的独立 ConvNeXt 模块 [96] 作为生成任务的 𝑔𝑒𝑛𝑐 和 𝑔𝑑𝑒𝑐。遵循现有惯例 [5, 14, 93]，我们在 𝑔𝑒𝑛𝑐 与 𝑔𝑑𝑒𝑐 之间引入了长跳跃连接。第 4.5 节中的对照实验表明，该解耦编码器设计显著提升了我们统一模型的性能。JanusFlow 的完整架构如图 2 所示。

如图3所示，我们分三个连续阶段对模型进行训练，具体细节如下。 阶段1：随机初始化组件的适配。 在第一阶段，我们仅专注于训练随机初始化的组件：线性层、生成编码器和生成解码器。该阶段旨在使这些新模块能够与预训练的大语言模型（LLM）和SigLIP编码器有效协同工作，本质上充当了新引入组件的初始化阶段。 阶段2：统一预训练。 在适配阶段之后，我们训练除视觉编码器之外的整个模型，这与先前的方法[58, 64]保持一致。训练过程融合了三种数据类型：多模态理解、图像生成和纯文本数据。我们最初分配较高比例的多模态理解数据以建立模型的理解能力。随后，我们增加图像生成数据的比例，以满足基于扩散的模型[18, 72]的收敛需求。

阶段3：监督微调（SFT）。 在最后阶段，我们使用指令微调数据对预训练模型进行微调，该数据包含对话、特定任务对话以及高质量的文本条件图像生成示例。在此阶段，我们还解冻了SigLIP编码器的参数[64, 90, 97]。该微调过程使模型能够有效响应用户在多模态理解和图像生成任务上的指令。

训练 JanusFlow 涉及两类数据：多模态理解数据和图像生成数据。这两类数据均包含两个部分：“条件（condition）”和“响应（response）”。“条件”指任务的提示输入（例如生成任务中的文本提示词和理解任务中的图像），而“响应”指对应任务的输出结果。数据可格式化为 x = (x^{con}, x^{res})，其中上标 con 表示“条件”，res 表示“响应”。我们将整个序列 x 的长度记为 \ell，x^{con} 的长度记为 \ell_{con}，x^{res} 的长度记为 \ell_{res}。我们用 \theta 表示 JanusFlow 中所有可训练参数的集合，包括大语言模型（LLM）、f_{enc}、g_{enc}、g_{dec} 以及线性变换层。 自回归目标。对于多模态理解任务，x^{res} 仅包含文本 token。JanusFlow 采用最大似然原则进行训练： L_{AR}(\theta) = -\mathbb{E}_{x \sim \mathcal{D}_{und}} \left[ \sum_{i=\ell_{con}}^{\ell-1} \log P_\theta(x_{i+1} | x_1, \dots, x_i) \right], (6) 其中，期望是在多模态理解数据集 \mathcal{D}_{und} 中的所有 (x^{con}, x^{res}) 对上计算的，且损失仅针对 x^{res} 中的 token 进行计算。

表示对齐正则化。近期研究 [103] 表明，对齐扩散 Transformer 与语义视觉编码器之间的中间表示，能够提升扩散模型的泛化能力。

我们的解耦视觉编码器设计使得能够高效地将此对齐过程实现为正则化项。具体而言，对于生成任务，我们将理解编码器 f_{enc} 的特征与大语言模型（LLM）的中间特征进行对齐： L_{REPA}(\theta, \varphi) = -\mathbb{E}_{x \sim \mathcal{D}_{gen}} \left[ \text{sim}\left(\text{stop\_grad}(f_{enc}(x_{res})), h_\varphi(q_\theta(z_t))\right) \right], (8) 其中，q_\theta(z_t) 表示给定输入 z_t 时的 LLM 中间表示，h_\varphi 是一个小型可训练的多层感知机（MLP），用于将 q_\theta(z_t) 投影至维度 D_{enc}。函数 \text{sim}(\cdot, \cdot) 计算嵌入向量之间逐元素余弦相似度的均值。在计算损失之前，我们将 h_\varphi(q_\theta(z_t)) 重塑为 H_{gen} \times W_{gen} \times D_{enc}。为简化实现，我们有意调整了 g_{enc} 和 g_{dec} 的配置，以确保 H_{gen} = H_{im} 且 W_{gen} = W_{im}。L_{REPA} 的梯度不会通过理解编码器进行反向传播。该对齐损失有助于使 LLM 的内部特征空间（在给定噪声输入 z_t 时）与理解编码器的语义特征空间对齐，从而在推理阶段根据新的随机噪声和文本条件生成图像时提升生成质量。 总结。所有三个目标均应用于全部训练阶段。多模态理解任务使用 L_{AR}，而图像生成任务则采用组合损失 L_{RF} + L_{REPA}。详细的实验设置见第 4.1 节。

我们开展了大量实验，以评估 JanusFlow 在多模态理解与生成任务中的能力。首先，我们阐述了实验设置与实现细节。随后，我们报告了该模型在多模态理解与图像生成标准基准测试上的结果。最后，我们进行了消融实验，以验证关键设计选择的有效性。

我们的框架基于 DeepSeek-LLM (1.3B) [7, 64] 的增强版本¹构建。该大语言模型包含 24 个 Transformer 块，支持 4,096 的序列长度。在我们的模型中，理解与生成任务均使用分辨率为 384 的图像。对于多模态理解，我们采用 SigLIP-Large-Patch/16 [106] 作为 f_{enc}。对于图像生成，我们利用预训练的 SDXL-VAE [73] 的潜在空间。生成编码器 g_{enc} 包含一个 2×2 的分块（patchify）层，随后接两个 ConvNeXt [96] 块和一个线性层。生成解码器 g_{dec} 由两个 ConvNeXt 块、一个用于上采样特征图的像素重排（pixel-shuffle）层以及一个线性层组成。我们的 SigLIP 编码器包含约 3 亿（300M）参数。g_{enc} 和 g_{dec} 为轻量级模块，总共包含约 7000 万（70M）参数。表 1 详细列出了各训练阶段的超参数。在对齐正则化中，我们使用第 6 个块之后的 LLM 特征作为 q_\theta(z_t)，并采用三层 MLP 作为 h_\varphi。我们采用衰减系数为 0.99 的指数移动平均（EMA）以确保训练稳定性。 在数据预处理方面，我们对理解和生成数据采用不同的处理方式。对于理解任务，我们将图像的长边调整至目标尺寸，并将图像填充为正方形，以保留全部图像信息。对于生成任务，我们将图像的短边调整至目标尺寸，并应用随机方形裁剪以避免填充伪影。在训练过程中，为提高训练效率，我们将多个序列打包合并为长度为 4,096 的单一序列。我们的实现基于使用 PyTorch [74] 的 HAI-LLM 平台 [31]。训练在 NVIDIA A100 GPU 上进行，每个模型约需 1,600 个 A100 GPU 天。

我们参照 Janus [97] 构建训练数据。各训练阶段的数据配置如下所示。 第一阶段与第二阶段的数据。 本框架的前两个阶段使用三类数据：多模态理解数据、图像生成数据和纯文本数据。

图像描述数据。我们整合了来自 [20, 41, 50, 51, 53, 82] 的 caption 数据集，并使用开源多模态理解模型为来自 [16, 43] 的图像生成了额外的 caption。数据集名称详见补充材料。数据遵循模板格式，例如："Generate the caption of this picture. "。（b）图表与表格。我们直接采用 DeepSeek-VL [64] 训练数据中的图表与表格数据。（c）任务数据。ShareGPT4V [11] 数据用于在预训练阶段提升基础问答能力，格式化为 ""。（d）图文交错数据。该子类数据来源于 [42, 84]。

图像生成。 我们采用视觉质量与语义准确性指标对生成的图像进行评估。在视觉质量评估方面，我们使用Fréchet Inception Distance [30] (FID) 指标，并计算30,000张生成图像与MJHQ数据集 [48] 中对应参考图像之间的FID值。FID的计算遵循GigaGAN [39] 的实现方式。为评估语义准确性，我们使用了两个专用框架：GenEval [28] 和 DPG-Bench [34]。这些框架旨在评估生成图像是否准确包含了输入提示词中指定的对象与关系，从而对模型的生成能力进行全面评估。

图像生成性能。我们报告了在 GenEval、DPG-Bench 和 MJHQ FID-30k 上的性能表现。表2 给出了 GenEval 上的对比结果，包含所有子任务分数及总体分数。JanusFlow 取得了 0.63 的总体分数，超越了先前的统一框架以及包括 SDXL [73] 和 DALL-E 2 [76] 在内的多个专用生成模型。表3 展示了 DPG-Bench 上的结果及相应对比。需要注意的是，表3 中的所有方法除本文模型外均为专用生成模型。GenEval 和 DPG-Bench 上的结果证明了本文模型的指令遵循能力。表4 给出了 MJHQ FID-30k 上的对比结果。用于计算 FID 的采样图像是在 CFG 系数 𝑤=2 和 30 步采样步数下生成的。我们对 CFG 系数和采样步数进行了遍历测试，并将结果提供在附录中。我们的方法在所有基于 1.3B 参数 LLM 的模型中取得了最佳性能。结果证明，相较于 Janus [97] 等自回归模型，修正流能够有效提升生成图像的质量。 多模态理解性能。表5 展示了本文方法与其他方法的对比，包括专用理解模型以及统一的理解与生成模型。我们的模型在参数量相近的所有模型中取得了最佳性能，甚至超越了多个规模更大的专用理解模型。我们的结果表明，该方法实现了自回归大语言模型与修正流的有效协同，在理解与生成任务上均取得了令人满意的性能。

仅理解 MobileVLM [12] 2.7B 84.9 1288.9 59.6 - - 59.0 - - - 47.5 MobileVLM-V2 [13] 2.7B 84.7 1440.5 63.2 - - 61.1 - - - 57.5 LLaVA-Phi [109] 2.7B 85.0 1335.1 59.8 - 71.4 - - 28.9 - 48.6 LLaVA [58] 7B 76.3 809.6 38.7 33.5 - - - 25.5 - - LLaVA-v1.5 [56] 7B 85.9 1510.7 64.3 58.6 78.5 62.0 35.4 31.1 - 58.2 InstructBLIP [15] 7B - - 36.0 53.4 - 49.2 - 26.2 - 50.1 Qwen-VL-Chat [4] 7B - 1487.5 60.6 58.2 78.2 57.5 - - 66.3 61.5 LLaVA-NeXT [57] 7B - 1519.3 - - - - 35.1 - 54.8 - Qwen2-VL [94] 7B - - - - - - 54.1 62.0 83.0 84.3 IDEFICS-9B [44] 8B - - 48.2 - 50.9 38.4 - - - 25.9 Emu3-Chat [95] 8B 85.2 - 58.5 68.2 75.1 60.3 31.6 - 68.6 64.7 InstructBLIP [15] 13B 78.9 1212.8 - - - 49.5 - 25.6 - 50.7 LLaVA-v1.5-Phi-1.5 [100] 1.3B 84.1 1128.0 - - 75.3 56.5 30.7 - - - MobileVLM [12] 1.4B 84.5 1196.2 53.2 - - 56.1 - - - 41.5 MobileVLM-V2 [13] 1.4B 84.3 1302.8 57.7 - - 59.3 - - - 52.1 统一 Gemini-Nano-1 [89] 1.8B - - - - 62.7 - 26.3 - 53.6 62.5 LWM [59] 7B 75.2 - - - 55.8 44.8 - 9.6 - - VILA-U [99] 7B 85.8 1401.8 - 59.0 79.4 60.8 - 33.5 - 60.8 Chameleon [88] 7B - - - - - - 22.4 8.3 - - DreamLLM† [19] 7B - - - - 72.9 - - 36.6 - 41.8 LaVIT† [37] 7B - - - - 66.0 46.8 - - - - Emu† [87] 13B - - - - 52.0 - - - - - NExT-GPT† [98] 13B - - - - 66.7 - - - - - Show-o [100] 1.3B 73.8 948.4 - - 59.3 48.7 25.1 - - - Janus [97] 1.3B 87.0 1338.0 69.4 63.7 77.3 59.1 30.5 34.3 - - JanusFlow (Ours) 1.3B 88.0 1333.1 74.9 70.5 79.8 60.3 29.3 30.9 64.6 55.5

我们进行了全面的消融实验，以验证关键设计选择的有效性。出于计算效率的考虑，所有消融实验均在 256 × 256 分辨率的图像上进行[2]。除仅用于理解（understanding-only）和仅用于生成（generation-only）的变体模型外，所有模型均在我们的统一预训练数据集上训练 50,000 次迭代；上述两种变体模型的训练迭代次数根据其各自在预训练阶段的数据比例相应减少。这些消融实验的定量结果如表 6 所示。表示对齐的影响。实验 A 与实验 F 的对比表明，在训练过程中引入表示对齐正则化[103]具有显著优势。具体而言，采用表示对齐训练的模型在 MJHQ 数据集上表现出明显更低的 FID 分数和更高的 CLIP 分数，表明图像质量与语义对齐能力均得到了同步提升。重要的是，由于我们引入了大语言模型（LLM）以及在 g_{enc} 与 g_{dec} 之间增加了额外的跳跃连接，我们的架构与文献[103]中考察的先前研究[66, 72]有所不同。 一只柯基犬的头部被描绘成星云的爆炸景象，周围环绕着深紫、蓝、粉等鲜艳的宇宙色彩。柯基的毛发与星云无缝融合，星星和星系构成了其毛发的纹理。明亮的闪光从其眼中迸发，背景中隐约可见淡淡的星座，赋予图像一种超现实的异域感。美丽的超现实象征主义，古埃及克利奥帕特拉女王令人着迷的幻象，迷人的棕色眼眸，黑色秀发与空灵的面部特征，散发着天体般的光晕，超高清画质，逼真的色彩，完美的曝光，刀锋般锐利的对焦，黄金比例，柔和的反光，散景效果，艺术摄影，电影级合成，真实且专业。一位身着黑袍的孤独身影沿着磨损的石阶拾级而上，走向古老神庙入口处的一束光芒。华丽的拱门、茂盛的绿植与繁复的雕刻装点着整个场景，营造出一种神秘的高奇幻氛围，令人联想到兰迪·瓦尔加斯（Randy Vargas）等艺术家的作品，并辅以电影级布光与史诗般的叙事感。图 4 | JanusFlow 的图像生成结果。我们的模型能够生成与文本提示在语义上保持一致的高质量图像。

我们改进架构中表征对齐的有效性表明，其在不同网络结构中具有广泛的适用性与泛化能力。

**视觉编码器解耦的影响。** 使用强大的预训练视觉编码器在多模态理解中展现出显著的有效性。实验B、C和F的对比证明了为理解与生成任务采用独立视觉编码器的优势。在实验B中，我们遵循与Transfusion [108]类似的设计，在SDXL-VAE潜在空间中为理解与生成编码器实现共享的ConvNeXt模块。实验C则采用架构与初始化参数完全相同的独立编码器，但进行独立训练。这些配置间的性能差异验证了解耦视觉编码器对于提升统一模型能力的必要性。此外，实验C和F的优异结果进一步凸显了利用预训练语义视觉编码器进行多模态理解任务的优势。

**与仅理解/仅生成模型的公平比较。** 为建立具有参考价值的基准，我们在完全相同的条件下评估了特定任务模型——即使用相同的预训练数据集、基础设施与超参数。实验D和E代表这些专用模型，其训练数据量与表6中的统一模型保持一致。实验F与这些特定任务基线之间微小的性能差距表明，我们的统一框架成功融合了理解与生成能力，且未对任一任务的性能造成显著牺牲。

我们针对图像生成与理解任务，对本方法进行了定性评估。图1(b)与图4展示了JanusFlow的图像生成能力。这些结果既体现了生成图像的高视觉质量，也验证了本框架准确遵循多样化指令的能力。 用户：这张图片中有哪些种类的水果？ JanusFlow（本文）：图片中的水果有香蕉、草莓、芒果、柿子、蓝莓和青柠。 用户：请描述这张图片。 JanusFlow（本文）：“儿童最爱水果”是一张条形图。横轴显示水果种类，纵轴显示喜欢该水果的儿童数量。橙子是最受欢迎的水果，香蕉是最不受欢迎的水果。 用户：图片中有多少只企鹅？ JanusFlow（本文）：图片中共有11只企鹅。 在多模态理解方面，图5展示了示例对话，体现了模型在不同场景下的理解能力。这些交互过程证明了模型能够在自然语言对话中对视觉内容进行理解与推理。附录中提供了更多展示JanusFlow灵活性与有效性的定性示例。

本文提出了JanusFlow，这是一个统一框架，成功地将自回归模型与整流流模型相融合，用于多模态理解与生成任务。大量实验结果表明，该统一框架取得了与特定任务模型相当的性能。成功整合这些截然不同的模型架构，不仅有效应对了多模态学习中的现有挑战，也为未来训练统一模型的研究开辟了新的可能性。

Yang, X. Sun, Y. Hu, X. Lin, B. Zhang, et al. MobileVLM V2：更快更强的视觉语言模型基线. arXiv 预印本 arXiv:2402.03766, 2024.

SEED-X：具有统一多粒度理解与生成能力的多模态模型. arXiv 预印本 arXiv:2404.14396, 2024.

P-Flow：一种通过语音提示实现快速且数据高效的零样本文本转语音方法. 载于 Proc. Annu. Conf. Neural Inf. Process. Systems, 2024.

Wen. 评估大型视觉-语言模型中的对象幻觉. 载于 Proc. Conf. on Empirical Methods in Natural Language Process., 2023.

Neural Inf. Process. Systems, 2021.

具有深度语言理解的逼真文本到图像扩散模型. 载于 Proc. Annu. Conf. Neural Inf. Process. Systems, 2022.

Bashlykov, S. Batra, P. Bhargava, S. Bhosale, et al. LLaMA 2：开放基座与微调聊天模型. arXiv 预印本 arXiv:2307.09288, 2023.

Liu, X. Wang, and L. Wang. MM-Vet：评估大型多模态模型的综合能力. 载于 Proc. Int'l Conf. Machine Learning, 2024.

附录 A. 256分辨率模型的性能分析 我们在两种分辨率下训练了模型：256 × 256 和 384 × 384。正文主要展示了 384 × 384 模型的结果作为我们的主要结果。在此，我们对 256 × 256 模型的性能进行了全面评估。视觉理解性能结果如表1所示。生成能力通过 GenEval [28]、DPG-Benchmark [34] 和 MJHQ FID-30k [48] 进行评估，结果如表2和表3所示。 正如预期，由于分辨率较低，256×256 模型在视觉理解指标上的表现略低于 384×384 模型。然而有趣的是，在 GenEval 和 DPG-Bench 上，256×256 模型的表现优于其高分辨率对应模型——这两个基准专门用于评估指令遵循能力和语义准确性。该模型在语义任务上的优越表现可归因于其对低分辨率图像更好的控制能力，较低的视觉复杂性使得模型能够进行更精确的语义操控。 B. 数据集详情 用于理解任务预训练阶段的数据集包括 DetailedCaption [20]、SAM [41]、arXivQA [50]、DenseFusion-1M [51]、MMSci [53]、PixelProse [82]、重新标注的 LAION-Aesthetics [16]、重新标注的 Open Images V4 [43]、ShareGPT4V [11]、WikiHow [42] 以及 WIT [84]。

CFG 系数 MJHQ FID-30k CLIP 相似度 (a) 不同 CFG 系数的结果 采样步数 MJHQ FID-30k CLIP 相似度 (b) 不同采样步数的结果 训练迭代次数 / 千次迭代 MJHQ FID-30k CLIP 相似度 使用 REPA 不使用 REPA

C. CFG 系数与采样步数分析 我们研究了两个关键生成参数的影响：无分类器引导（Classifier-Free Guidance, CFG）系数与采样步数。尽管我们在主要结果中使用 CFG 系数 w=2 和 30 步采样来计算 FID，但在此我们对这些超参数进行了全面分析。图 1(a) 展示了在保持 30 步采样的情况下，改变 CFG 系数的影响。结果表明，FID 分数存在一个最优的 CFG 值，而 CLIP [75] 相似度则随着 CFG 值的增加而持续提升，这与先前研究 [73] 的发现一致。图 1(b) 展示了在保持 CFG 系数为 2 的情况下，不同采样步数的影响。采样步数对性能的影响相对较小。我们在正文中选择 30 步采样，是在生成质量与计算效率之间取得的平衡。 D. REPA 消融实验细节

附录 在图像生成方面，本模型在视觉质量及与输入提示词的语义对齐上均展现出优异性能。 用户：请编写一段Python代码来绘制此图表。 JanusFlow：以下是绘制该图表的Python代码： ```python import matplotlib.pyplot as plt # Data values = [3, 7, 5, 2] # Create the bar chart plt.figure(figsize=(10, 6)) plt.bar(range(len(values)), values) # Title plt.title('Simple Bar Chart') # Labels plt.xlabel('Categories') plt.ylabel('Values') # Show the plot plt.show() ``` 用户：请解释这张图片为何有趣。 JanusFlow：该图像很可能是对名画《蒙娜丽莎》的幽默或艺术化再创作，以犬只替代了人物。犬只的表情与姿态与原画中标志性的姿势相似，为作品增添了一丝俏皮与意想不到的趣味。 用户：请提取此段落中的文本。 JanusFlow：为提升此类强大模型的可及性，同时降低其显著的资源消耗，亟需一种能够同时降低训练与采样计算复杂度的方法。因此，在无损模型性能的前提下降低扩散模型（DMs）的计算需求，是提升其可及性的关键。 用户：图中人物是谁？ JanusFlow：乔治·W·布什。 24 宏伟的教堂建筑，天堂与地狱之战，燃烧的教堂，8K超高清、极致锐利，弗朗西斯科·戈雅风格的文艺复兴画作。 画面中央为一位帅气的24岁青年，背景呈天空蓝，佩戴眼镜，细节极为丰富，呈现动漫风格。 一只神情愉悦、充满梦幻感的猫头鹰怪物栖于树枝之上，周围环绕着五彩闪烁的粒子，背景为森林，羽毛细节刻画精细。 一名头戴软呢帽的男子，呈现黑手党风格，写实摄影质感，细节繁复，光影效果奇幻，背景鲜明，纹理复杂，色彩丰富，写实风格，正面视角。 生动描绘了北极光在冰岛覆雪山峦上空舞动，将迷人的辉光洒满天际。 一幅暗调、高对比度的渲染图像，迷幻风格的“生命之树”熠熠生辉，照亮了神秘幽深洞穴环境中盘旋飞舞的尘埃粒子。

图像展示了一株生长于草地落叶间的蘑菇。其菌盖呈浅棕白色，下方菌褶清晰可见；菌柄色泽深沉且显得粗壮坚实。

附录 背景呈现失焦效果，包含绿植以及可能被薄雾笼罩的建筑或树木，营造出宁静而略带幽邃的氛围。该图像采用浅景深技术以突出蘑菇主体，同时虚化周围环境以增强艺术表现力。该图像呈现了日出或日落时分的辽阔海景，地平线附近的柔和粉色调与上方的深色云层自然交融。海浪拍打右侧嶙峋的黑色礁石，水流顺势漫溢至下方的碎石之上。前景处的枯草与平滑的海面形成鲜明对比。整体氛围宁静祥和，同时通过动态海浪与坚实陆地的相互作用，展现出大自然的原始力量。一幅意境宁静的中国水墨画描绘了一处静谧的山间村落。简朴的屋舍依偎于云雾缭绕的山麓，一条蜿蜒的溪流穿村而过。翠竹与青松点缀其间。极简的笔触折射出人与自然和谐共生的关系，以雅致简练的构图捕捉了画面的宁静神韵。图4 | 更多文本生成图像结果。25