DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding

DeepSeek-VL2：基于混合专家架构的先进多模态视觉语言模型

📄 arXiv: 2412.10302📅 2024-12-12英文 PDF中文 PDF

翻译进度 39 / 39 段 (100%)

中文摘要

DeepSeek-VL2 首次将 MoE（混合专家）架构应用于视觉语言模型，支持超高分辨率图像理解和复杂视觉推理。采用创新的视觉 token 压缩技术和动态专家路由机制，在保持高性能的同时大幅降低计算成本。在文档理解、图表分析、科学图表理解等任务上显著超越前人工作。

阅读模式

左侧英文原版 · 右侧中文 PDF（A4 双栏排版）· 可分别滚动对照

English Original

中文翻译 PDF

中文翻译

📑 目录

Abstract

摘要我们提出了 DeepSeek-VL2，这是一个先进的大型混合专家（MoE）视觉-语言模型系列。通过两项关键的重大升级，它在性能上显著超越了其前身 DeepSeek-VL。在视觉组件方面，我们引入了一种动态分块视觉编码策略，专门用于处理具有不同宽高比的高分辨率图像。在语言组件方面，我们采用了带有多头潜在注意力（Multi-head Latent Attention）机制的 DeepSeekMoE 模型。该机制将键值（Key-Value）缓存压缩为潜在向量，从而实现高效的推理和高吞吐量。在改进后的视觉-语言数据集上进行训练后，DeepSeek-VL2 在多项任务中展现出卓越的能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解以及视觉定位。我们的模型系列包含三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，其激活参数数量分别为 1.0B、2.8B 和 4.5B。与现有的开源稠密模型和基于 MoE 的模型相比，DeepSeek-VL2 在激活参数数量相当或更少的情况下，取得了具有竞争力或最先进的性能。代码和预训练模型已公开，访问地址为：https://github.com/deepseek-ai/DeepSeek-VL2。

[原文]We present DeepSeek-VL2, an advanced series of large Mixture-of-Experts (MoE) Vision- Language Models that significantly improves upon its predecessor, DeepSeek-VL, through two key major upgrades. For the vision component, we incorporate a dynamic tiling vision encoding strategy designed for processing high-resolution images with different aspect ratios. For the language component, we leverage DeepSeekMoE models with the Multi-head Latent Attention mechanism, which compresses Key-Value cache into latent vectors, to enable efficient inference and high throughput. Trained on an improved vision-l...

Introduction

9 , 94 , 63 , 83 , 15 , 88 ]，将大型语言模型（LLMs）的卓越能力扩展至无缝处理视觉与文本信息。这一进展极大地拓展了人工智能系统应对需要多模态理解的复杂现实世界应用的潜力。在本技术报告中，我们推出了 DeepSeek-VL2，这是一系列全新的开源视觉-语言模型，其采用混合专家（MoE）架构，相较于其前身 DeepSeek-VL [ 59 ]，在性能与效率方面均实现了显著提升。我们的改进主要围绕三个关键方面展开：（1）一种动态高分辨率视觉编码策略，用于增强视觉理解能力；（2）一种优化的语言模型架构，显著提升了训练与推理效率；（3）一套精细化的视觉-语言数据构建流程，不仅提升了整体性能，还将模型能力拓展至精确视觉定位等新领域。在视觉组件方面，我们引入了一种动态分块视觉编码策略，能够高效处理具有不同宽高比的高分辨率图像。该方法改进了 DeepSeek-VL 的混合视觉编码器，后者仅在两个固定分辨率（ 384 × 384 384\times 384 和 1024 × 1024 1024\times 1024 ）下提取图像特征。我们的方法规避了旧版固定尺寸编码器的局限性，在需要超高分辨率的任务中表现卓越，包括视觉定位、文档/表格/图表分析以及细粒度特征提取，同时保持了可控的视觉 token 数量。借鉴成熟的 slicing-tile 方法，我们的系统将高分辨率输入动态分割为局部图块，通过共享的视觉 Transformer 处理每个图块，并在语言模型内无缝融合所提取的特征。该设计保留了具有局部注意力机制的视觉 Transformer 的优势，使

[原文]3 2 Model Architecture 4 3 Data Construction 6 3.1 Vision-Language Alignment Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.2 Vision-Language Pretraining Data . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3.3 Supervised Fine-tuning Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 4 Training Methodology 9 4.1 Training Pipelines . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 4.2 Hyperparameters and Infrastructures . . . . . . . . . . . . . . . . . . . . . . . . . 10 5 Evaluation 11 5.1 Multimodal Performance . . . . . . ....

1. Introduction

大型视觉-语言模型（VLMs）已成为人工智能领域的一股变革性力量[15, 54, 59, 63, 83, 88, 94]，将大型语言模型（LLMs）的卓越能力扩展至无缝处理视觉与文本信息。这一进展极大地拓展了人工智能系统处理需要多模态理解的复杂现实世界应用的潜力。在本技术报告中，我们推出了 DeepSeek-VL2，这是一个全新的开源视觉-语言模型系列。该系列采用混合专家（MoE）架构，相较于其前身 DeepSeek-VL [59]，在性能与效率方面均实现了显著提升。我们的改进主要围绕三个核心方面展开：（1）一种动态高分辨率视觉编码策略，用于增强视觉理解能力；（2）一种优化的语言模型架构，显著提升了训练与推理效率；（3）一套精细化的视觉-语言数据构建流程，不仅提升了整体性能，还将模型能力拓展至精确视觉定位等新领域。在视觉组件方面，我们引入了一种动态分块视觉编码策略，能够高效处理具有不同宽高比的高分辨率图像。该方法改进了 DeepSeek-VL 的混合视觉编码器，后者仅在两个固定分辨率（384 × 384 和 1024 × 1024）下提取图像特征。我们的方法克服了旧版固定尺寸编码器的局限性，在需要超高分辨率的任务中表现优异，包括视觉定位、文档/表格/图表分析以及细粒度特征提取，同时保持了可控的视觉 token 数量。借鉴成熟的切片分块方法，我们的系统将高分辨率输入动态分割为局部图块，通过共享的视觉 Transformer 处理每个图块，并将提取的特征无缝整合至语言模型中。该设计保留了具有局部注意力机制的视觉 Transformer 的优势，在避免通常随图像分辨率提升而出现的计算复杂度呈二次方增长的同时，实现了丰富的特征提取。在语言组件方面，我们采用了 DeepSeek 语言模型 [20, 53]，其核心特性为多头潜在注意力（MLA）机制。MLA 通过将键值（KV）缓存压缩为隐向量，显著降低了计算成本，从而实现了更快的推理速度与更高的吞吐量。

[原文]Large Vision-Language Models (VLMs) have emerged as a transformative force in artificial intelligence [15, 54, 59, 63, 83, 88, 94], extending the remarkable capabilities of Large Language Models (LLMs) to seamlessly process both visual and textual information. This advancement has dramatically expanded the potential for AI systems to tackle complex real-world applications that require multimodal understanding. In this technical report, we present DeepSeek-VL2, a new series of open-source Vision- Language Models that leverages the Mixture-of-Experts (MoE) architecture to achieve substantial imp...

1. Introduction

我们通过采用稀疏计算技术的 DeepSeekMoE 框架 [20, 86] 进一步提升了效率。我们的模型系列采用了三种 MoE 变体，分别为 3B、16B 和 27B。这些大语言模型的激活参数数量分别为 0.57B、2.4B 和 4.1B。此外，我们在质量、数量和多样性方面大幅提升了视觉-语言训练数据。该综合数据集使模型在广泛的任务中实现了更优的泛化能力与性能，包括视觉问答（VQA）、光学字符识别（OCR）、文档/表格/图表理解、视觉推理以及通用聊天机器人应用。改进后的训练数据还赋予了模型视觉定位（visual grounding）和图形用户界面（GUI）感知等新能力。总之，DeepSeek-VL2 标志着大规模混合专家（MoE）视觉-语言建模取得了实质性飞跃。通过一种新的视觉处理策略和优化的语言模型，我们开发了一系列在性能与效率之间取得平衡的模型。通过开源预训练模型，我们旨在加速该领域的进步，并促进协作式研究的发展。 3 视觉编码器 DeepSeek-MoE … 详细描述这张图片。这张图片展示了 … 视觉-语言适配器图像令牌动态分块

[原文]We further enhance efficiency through the DeepSeekMoE frame- work [20, 86], which employs sparse computation techniques.Our model series adopt three MoE variants, 3B, 16B, and 27B. These LLMs have 0.57B, 2.4B, and 4.1B activated parameters respectively. We also greatly enhance our vision-language training data in terms of quality, quantity, and diversity. This comprehensive dataset enables better generalization and performance across a broad spectrum of tasks, including Visual Question Answering (VQA), Optical Character Recognition (OCR), document/table/chart understanding, visual reasoning, a...

2. Model Architecture

DeepSeek-VL2 包含三个核心模块：(1) 视觉编码器，(2) 视觉-语言适配器，以及 (3) 混合专家（Mixture-of-Experts）语言模型。在其前代模型仅解码器（decoder-only）的 LLaVA 风格 [54] 架构基础上，DeepSeek-VL2 引入了两项主要改进：动态分块策略以及采用多头潜在注意力（Multi-head Latent Attention）[53] 的 DeepSeekMOE [20, 86] 语言模型。这些创新使得模型能够更高效地处理高分辨率视觉输入和文本数据。动态分块策略。原始的 DeepSeek-VL 采用了一种混合视觉编码器，结合 SigLIP [106] 在 384 × 384 分辨率下进行粗粒度特征提取，以及 SAM-B [35] 在 1024 × 1024 分辨率下进行细粒度特征提取。尽管这种融合方法生成了适用于各种视觉-语言任务的丰富视觉表征，但它受限于固定的 1024 × 1024 分辨率约束。这一限制在处理具有更高分辨率和极端宽高比的图像时尤为棘手，例如信息图问答（InfographicVQA）[67]、密集光学字符识别（OCR）以及细粒度视觉定位任务中常见的图像。受近期视觉语言模型（VLMs）[16, 21, 55] 进展的启发，我们通过将高分辨率图像分割为多个图块（tiles）来实现动态分块策略。该方法使得仅使用单个 SigLIP-SO400M-384 视觉编码器 [106] 即可高效处理具有不同宽高比的各类高分辨率图像。预训练的 SigLIP 模型的基础分辨率为 384 × 384。为适应不同的宽高比，我们定义了一组候选分辨率：𝐶𝑅 = {(𝑚·384, 𝑛·384) | 𝑚∈N, 𝑛∈N, 1 ≤ 𝑚, 𝑛, 𝑚𝑛 ≤ 9}，其中 𝑚:𝑛 表示宽高比。对于尺寸为 (𝐻, 𝑊) 的输入图像，我们计算将其调整尺寸到 𝐶𝑅 中每个候选分辨率所需的填充（padding）区域面积。我们选择使填充区域面积最小的分辨率 (𝑚𝑖·384, 𝑛𝑖·384)。随后，调整尺寸后的图像被划分为 𝑚𝑖 × 𝑛𝑖 个 384 × 384 像素的局部图块，以及一个全局缩略图图块。SigLIP-SO400M-384 视觉编码器对所有 (1 + 𝑚𝑖 × 𝑛𝑖) 个图块进行处理，每个图块输出 27 × 27 = 729 个维度为 1152 的视觉嵌入。

[原文]DeepSeek-VL2 consists of three core modules: (1) a vision encoder, (2) a vision-language adaptor, and (3) a Mixture-of-Experts language model. Building upon the decoder-only LLaVA- style [54] architecture of its predecessor, DeepSeek-VL2 introduces two major advancements: a dynamic tiling strategy and a DeepSeekMOE [20, 86] language model featuring Multi-head Latent Attention [53]. These innovations enable more efficient processing of both high-resolution visual inputs and text data. Dynamic Tiling Strategy. The original DeepSeek-VL employed a hybrid vision encoder combining SigLIP [106] for c...

2. Model Architecture

出于计算效率与上下文长度管理的考虑，在处理多张（>2）图像时，我们禁用了动态分块策略。我们首先对原始图像进行缩放，直至其长边与目标分辨率匹配，随后在保持原始宽高比的前提下对另一维度进行填充。视觉-语言适配器（Vision-Language Adaptor）。在完成视觉分块处理后，我们执行2×2像素洗牌操作，将每个分块的视觉令牌从27×27压缩至14×14=196个。随后，在处理(1 + 𝑚𝑖× 𝑛𝑖)个分块时，我们引入了三种特殊令牌。对于全局缩略图分块（14×14），我们在每一行末尾添加14个``令牌，总计14×15=210个令牌。对于排列成(𝑚𝑖·14, 𝑛𝑖·14)二维网格形状的𝑚𝑖×𝑛𝑖个局部分块，我们在最后一列末尾追加𝑚𝑖·14个``令牌，以表示所有局部分块的一行结束。此外，在全局缩略图分块与局部分块之间插入一个``令牌。完整的视觉序列包含210 + 1 + 𝑚𝑖·14 × (𝑛𝑖·14 + 1)个视觉令牌，随后通过一个两层多层感知机（MLP）投影至语言模型的嵌入空间。我们动态分块策略的可视化示意图如图3所示。 DeepSeekMoE大语言模型（DeepSeekMoE LLM）。我们的语言模型基于DeepSeekMoE [20, 86]构建，该模型采用了多头潜在注意力（Multi-head Latent Attention, MLA）机制[53]。MLA通过将键值（Key-Value）缓存压缩为潜在向量，提升了推理效率，从而实现了更高的吞吐量。

[原文]For computational efficiency and context length management, we disable the dynamic tiling strategy when processing multiple (> 2) images. 1We first resize the original image until its long side matches the target resolution, then pad the other dimension while maintaining the original aspect ratio. 4 \n \n \n \n Flatten \n \n \n \n \n \n \n \n View Separator Token sep Input image Local Tiles New Line Token Encode & Merge Dynamic Tiling Encode & Merge Flatten Figure 3 | Illustration of dynamic tiling strategy in DeepSeek-VL2.By dividing images into multiple tiles, DeepSeek-VL2 achieves stronger...

2. Model Architecture

该模型还采用了混合专家（MoE）架构[20]，通过稀疏计算实现高效推理。在MoE训练过程中，我们为每个专家引入了一个全局偏置项[86]，以较低开销改善专家间的负载均衡。DeepSeek-VL2提供三种不同规模的变体，参数量分别为1.0B、2.8B和4.5B。完整的架构规格详见表1。

[原文]The model also incorporates a MoE architecture [20] allowing for efficient inference through sparse computation.During MoE training, we introduce a global bias term [86] for each expert to cost-effectively improve load balancing between experts. DeepSeek-VL2 comes in three variants with the following model sizes: 1.0B, 2.8B and 4.5B. Complete architectural specifications can be found in Table 1. 5

3. Data Construction

我们为 DeepSeek-VL2 构建了涵盖多源数据的综合视觉-语言数据集。训练过程划分为三个独立阶段：（1）视觉-语言对齐，（2）视觉-语言预训练，以及（3）监督微调（SFT）。下文将详细介绍各阶段所使用的数据。

[原文]We build a comprehensive Vision-Language dataset from diverse sources for DeepSeek-VL2. The training process is structured into three distinct stages: (1) VL alignment, (2) VL pretraining, and (3) supervised fine-tuning (SFT). In the following parts, we provide descriptions of the data used in each stage.

3.1. Vision-Language Alignment Data

对齐阶段侧重于训练MLP连接器，以桥接预训练视觉编码器与大语言模型。在此初始预热阶段，我们采用ShareGPT4V [12]数据集，该数据集包含约120万条图像描述与对话样本。

[原文]The alignment stage focuses on training the MLP connector to bridge the pretrained visual encoder and the LLM. For this initial warmup phase, we utilize ShareGPT4V [12], a dataset containing approximately 1.2M caption and conversation samples.

3.2. Vision-Language Pretraining Data

遵循 DeepSeek-VL [59] 的设定，我们的预训练数据融合了视觉-语言（VL）数据与纯文本数据，以在视觉-语言能力与纯文本性能之间保持平衡。针对 DeepSeek-VL2，我们维持约 70% VL 数据与 30% 纯文本数据的比例，后者直接源自我们基础大语言模型（LLM）的预训练语料库。下文我们将 VL 数据划分为若干类别，并逐一详述其具体构成。交错图文数据。我们的数据收集工作始于多个开源数据集，包括 WIT [79]、WikiHow [38] 以及 OBELICS [41] 的 30% 随机采样数据。该特定的混合比例系通过 DeepSeek-VL2-Tiny 的初步实验确定。为增强多语言能力，我们在以英语为主的数据集中补充了从 Wanjuan [29] 提取的中文内容。此外，我们构建了内部数据集，以进一步扩展对通用现实世界知识的覆盖范围。

[原文]Following DeepSeek-VL [59], our pretraining data combines vision-language (VL) and text-only data to maintain a balance between VL capabilities and text-only performance. For DeepSeek- VL2, we maintain a ratio of around 70% VL data to 30% text-only data, with the latter sourced directly from our base LLM pretraining corpus. In the following, we categorize the VL data into several groups and describe their details. Interleaved image-text data. Our data collection begins with several open-sourced datasets, including WIT [79], WikiHow [38], and 30% random samples from OBELICS [41]. This specific ...

图像描述数据。图像描述是视觉-语言模型（VLM）训练中的基础数据，能够实现视觉与文本信息的直接对齐。我们初期采用了多种开源数据集 [8, 25, 28, 36, 37, 39, 40, 48, 50, 51, 73, 78, 80, 82]。然而，初步分析表明这些数据集之间存在显著的质量差异：既有由先进 VLM 生成的详实、准确的描述，也存在描述过于简略、图文不匹配或存在明显幻觉等质量问题。为应对此类质量不一致性，我们构建了一套综合性的图像描述生成流水线，该流水线综合考量了以下要素：(1) OCR 提示，(2) 元信息（如地理位置、相机参数等），以及 (3) 相关的原始描述作为提示词。借助内部描述模型，我们参照 PixelProse [78] 的提示策略对图像进行重新描述，并通过多样化的指令引导 VLM 生成描述文本。尽管描述质量整体得到提升，但我们在大规模标注流水线中仍观察到内容重复的问题。为缓解该现象，我们引入了一套基于 DeepSeek Chat [53] 的质量控制流水线，仅依据文本写作质量对所有描述进行打分。实践表明，该方法在过滤低质量描述方面兼具高效性与有效性。光学字符识别（OCR）数据。为提升模型的 OCR 能力，我们采用了包括 LaTeX OCR [7] 和 12M RenderedText [93] 在内的开源数据集，并将其与涵盖多种文档类型的海量内部 OCR 数据集进行融合。

3.2. Vision-Language Pretraining Data

3.2. 视觉-语言预训练数据

imes(n_{i}\cdot 14+1) 个视觉标记，随后通过一个两层多层感知机（MLP）投影至语言模型的嵌入空间中。图3展示了我们动态分块策略的可视化示意图。 DeepSeekMoE 大语言模型。我们的语言模型基于 DeepSeekMoE [ 20 , 86 ]，并引入了多头潜在注意力（Multi-head Latent Attention）机制 [ 53 ]。MLA 通过将键值（Key-Value）缓存压缩为潜在向量来提升推理效率，从而增加吞吐量。该模型还采用了混合专家（MoE）架构 [ 20 ]，通过稀疏计算实现高效推理。在 MoE 训练期间，我们为每个专家引入了一个全局偏置项 [ 86 ]，以低成本的方式有效改善专家间的负载均衡。DeepSeek-VL2 提供三种变体，模型规模分别为：1.0B、2.8B 和 4.5B。完整的架构规格详见表1。

[原文]Currently, our in-house 6 dataset mainly focuses on English and Chinese character recognition.We plan to expand to other languages in our future work. Visual question-answering (QA) data. In our early exploration, we found general QA data clearly benefits model pretraining. Consequently, we developed a comprehensive visual QA dataset consisting of the following categories: • General VQA. We inherit the general VQA data from DeepSeek-VL. For more details, please refer to [59]. • Table, chart and document understanding. We adopt PubTabNet [112], FinTabNet [111] and Docmatix [42] to enhance docu...

表1：DeepSeek-VL2 的架构配置。我们列出了该架构的超参数以及与混合专家训练相关的详细信息。
| 配置项 | DeepSeek-VL2-Tiny | DeepSeek-VL2-Small | DeepSeek-VL2 |
|---|---|---|---|
| 词表大小 (Vocabulary size) | 129,280 | 102,400 | 129,280 |
| 嵌入维度 (Embedding size) | 1,280 | 2,048 | 2,560 |
| 注意力头数 (#Attention heads) | 10 | 16 | 32 |
| 层数 (#Layers) | 12 | 27 | 30 |
| 注意力机制 (Attention) | Multi-Head Attention | MLA (rank=512) | MLA (rank=512) |
| 路由专家数 (#Routed experts) | 64 | 64 | 72 |
| 共享专家数 (#Shared experts) | 2 | 2 | 2 |
| 专家选择 Top-K (Top-K for expert selection) | 6 | 6 | 6 |
| 路由函数 (Routing function) | Softmax | Softmax | Sigmoid |
| 专家校正偏置 (Expert correction bias) | × | × | ✓ |

3.2. Vision-Language Pretraining Data

我们为 DeepSeek-VL2 从多种来源构建了一个全面的视觉-语言数据集。训练过程分为三个明确的阶段：（1）视觉-语言对齐，（2）视觉-语言预训练，以及（3）监督微调（SFT）。在以下部分，我们将分别介绍各阶段所使用的数据。

[原文]We derived our grounded conversation dataset from [71], struc- tured in the following format: • Prompt: Can you describe the content of the image? • Response: Two dogs[[x1, y1, x2, y2],...] are running on the grass.As in other visual grounding data, , , , , are special tokens and x1, y1, x2, y2 is subject to the same normalization scheme. 7

3.1 视觉-语言对齐数据

对齐阶段的重点是训练 MLP 连接器，以桥接预训练视觉编码器与大语言模型（LLM）。在此初始预热阶段，我们使用了 ShareGPT4V [ 12 ] 数据集，该数据集包含约 1.2M 个图像描述与对话样本。

3.2 视觉-语言预训练数据

遵循 DeepSeek-VL [ 59 ] 的做法，我们的预训练数据结合了视觉-语言（VL）数据与纯文本数据，以在 VL 能力与纯文本性能之间保持平衡。对于 DeepSeek-VL2，我们保持约 70% 的 VL 数据与 30% 的纯文本数据比例，后者直接来源于我们基础 LLM 的预训练语料库。下文我们将 VL 数据划分为若干类别，并详细介绍其具体情况。交错图文数据。我们的数据收集始于多个开源数据集，包括 WIT [ 79 ]、WikiHow [ 38 ] 以及从 OBELICS [ 41 ] 中随机抽取的 30% 样本。这一特定的混合比例是通过在 DeepSeek-VL2-Tiny 上进行初步实验确定的。为增强多语言能力，我们在以英语为主的数据集中补充了从 Wanjuan [ 29 ] 中提取的中文内容。此外，我们开发了一套内部数据集，以扩展对通用现实世界知识的覆盖范围。

图像描述数据。图像描述是 VLM 训练中的基础数据，提供了视觉信息与文本信息之间的直接对齐。我们最初利用了多种开源数据集 [ 50 , 78 , 73 , 51 , 48 , 82 , 40 , 36 , 39 , 8 , 80 , 37 , 25 , 28 ]。然而，我们的初步分析显示，这些数据集之间存在严重的质量差异，范围从由先进 VLM 生成的密集、准确的描述，到 p

3.3. Supervised Fine-tuning Data

我们的监督微调（SFT）数据结合了多样化的开源数据集与高质量的内部问答（QA）对。下文将详细说明我们为提升SFT数据集质量所采取的措施。通用视觉问答。尽管公开的视觉问答数据集种类繁多[9, 10, 27, 31, 43, 47, 74]，但它们通常存在三个主要局限性：(1) 回答简短，(2) OCR质量较差，以及(3) 内容幻觉。为解决这些问题，我们结合原始问题、图像及OCR信息重新生成了回答。实验表明，该方法能够生成更全面、准确的结果。在开发过程中，我们观察到DeepSeek-VL2的早期版本（尤其是Tiny变体）在中文回答中偶尔会不当插入英文单词。该问题在我们的较大模型中并未出现，这表明其源于模型容量有限以及视觉-语言预训练阶段中英数据的不平衡。为克服小模型的这一局限，我们构建了一个内部中文QA数据集，包含多样化的图像描述以及单轮/多轮对话。该数据集有助于缓解语言混杂问题。此外，我们额外构建了一个内部数据集，以补充现实世界与文化相关的视觉知识，涵盖动漫、网络迷因、美食与艺术等领域。 OCR与文档理解。得益于我们先进的图像描述生成流水线，DeepSeek-VL2相较于其他最先进的视觉语言模型（VLMs）已展现出卓越的OCR能力。因此，在SFT阶段，我们并未进一步追求OCR性能的提升，而是专注于清洗现有的开源数据集[24, 31, 43, 66, 67, 77, 92, 104]，剔除OCR质量较差的样本。在文档理解方面，我们从内部数据中精选了一个多样化的文档页面子集。随后，我们生成了专门针对文档理解的多轮对话问答对。初步结果表明，该方法提升了基于文档的交互效果。

[原文]Our SFT data combines a diverse collection of open-sourced datasets with high-quality in-house QA pairs. Below, we detail our efforts to enhance the quality of our SFT dataset. General visual question-answering. While public visual QA datasets are diverse [9, 10, 27, 31, 43, 47, 74], they often suffer from three main limitations: (1) short responses, (2) poor OCR quality, and (3) hallucinated content. To address these issues, we regenerate responses by jointly considering the original questions, images, and OCR information. Our experiments demonstrate that this approach produces more comprehen...

表格与图表理解。我们通过基于原始问题重新生成回答的方式，提升了基于表格的QA数据质量，涵盖了除Cauldron [43]（其本身已具备高质量）之外的所有公开数据集[14, 49]。与在视觉-语言预训练阶段发展的OCR能力类似，我们的模型在图表理解方面无需额外努力即展现出强劲性能。推理、逻辑与数学。

3.3. Supervised Fine-tuning Data

我们为公开的推理导向数据集[17, 43, 61, 76, 102, 109]补充了更详细的推理过程，并标准化了回复格式，将最终答案置于回复末尾。我们观察到，在训练较小规模的视觉语言模型（VLM）时，详细的回复效果反而不佳。在我们的探索中，DeepSeek-VL2-Tiny 在使用更简洁的回复时表现出更优的性能。教材与学术问题。我们基于内部文档库构建了一个专注于教材的内部数据集。该数据集主要涵盖多个学科领域的大学级别内容。网页转代码与图表转Python代码生成。我们扩展了内部网页代码和Python绘图代码数据集，其规模超出了预训练阶段所使用的范围。对于开源数据集，我们通过重新生成答案来提升其质量。视觉定位（Visual Grounding）。我们利用来自[2, 23, 64, 85, 101, 110]的数据构建了视觉定位数据集。为提升模型能力，我们将查询短语翻译为中文，并构建了额外的负样本。我们还添加了上下文视觉定位数据，该任务要求在给定参考图像中由矩形或椭圆高亮标记的参考对象的情况下，在多张图像中定位同类对象。数据格式遵循以下结构： • 提示（Prompt）：第一张图像显示了。请识别第二张图像中同类对象。 • 回复（Response）：[[x1, y1, x2, y2]] 在此格式中，、、、、为特殊标记（special tokens）。占位符代表诸如“红色边界框内的对象”之类的短语，而则是模型对检测对象的描述（例如“猫”）。视觉 grounding 对话。我们利用[62, 72]构建了视觉 grounding 对话数据，以进一步增强模型在预训练阶段建立的能力。纯文本数据集。为保持模型的语言能力，我们在监督微调（SFT）阶段还使用了纯文本指令微调数据集[4, 6, 18, 19, 68, 70, 84, 91, 98]。

[原文]We enhance public reasoning-focused datasets [17, 43, 61, 76, 102, 109] with more detailed reasoning processes and standardize response formats which puts the final answer at the end of the response.We observe that detailed responses are less effective when training smaller VLMs. In our exploration, DeepSeek-VL2-Tiny shows better performance with more concise responses. Textbook and academic questions. We build an internal dataset focused on textbooks from our document collection. This dataset primarily emphasizes college-level contents across multiple academic disciplines. Web-to-code and plo...

4.1. Training Pipelines

DeepSeek-VL2 采用三阶段流程进行训练：(1) 初始阶段，我们使用第 3.1 节详述的图文配对数据，在固定语言模型的同时训练视觉编码器和视觉-语言适配器 MLP；(2) 预训练阶段，我们使用第 3.2 节描述的数据进行视觉-语言预训练；(3) 微调阶段，我们使用第 3.3 节概述的数据进行监督微调。在预训练和微调阶段，所有模型参数（包括视觉编码器、视觉-语言适配器和语言模型）均被解冻并同步训练。在所有阶段中，我们均侧重于视觉理解能力，且仅在文本词元上计算下一词元预测损失。视觉-语言对齐。基于预训练语言模型（DeepSeekMoE 3B/16B/27B），我们的主要目标是在视觉特征与语言特征之间建立稳健的连接。该对齐过程使预训练语言模型能够有效处理视觉输入。与保持固定预训练视觉编码器和语言模型的先前方法 [54, 59] 不同，我们对固定分辨率的视觉编码器进行了适配，以支持动态高分辨率图像。在此阶段，我们在冻结语言模型的同时，对视觉编码器和视觉-语言适配器进行优化。视觉-语言预训练。在嵌入空间中完成视觉-语言对齐后，我们将大部分计算资源投入到视觉-语言预训练中。该阶段侧重于在多样化任务中构建全面的联合视觉-语言知识。我们解冻了所有参数，包括视觉编码器、视觉-语言

[原文]DeepSeek-VL2 is trained through a three-stage pipeline: (1) an initial stage where we train the vision encoder and vision-language adaptor MLP while keeping the language model fixed, using image-text paired data detailed in Section 3.1, (2) a pretraining stage where we conduct vision- language pre-training using the data described in Section 3.2, and (3) a fine-tuning stage where we perform supervised fine-tuning with the data outlined in Section 3.3. In both the pretraining and fine-tuning stages, all model parameters, including the vision encoder, vision-language adaptor, and language model,...

4.1. Training Pipelines

适配器MLP与DeepSeekMoE大语言模型，以实现全模型优化。使用约8000亿个图文Token（第3.2节），该阶段在保持模型大部分语言能力的同时，显著增强了其多模态理解能力。

[原文]DeepSeek-VL2-Tiny DeepSeek-VL2-Small DeepSeek-VL2 Total parameters (LLM) 3B 16B 27B Activated parameters (LLM) 0.57B 2.4B 4.1B Vision Encoder SigLIP-SO400M SigLIP-SO400M SigLIP-SO400M Hyperparameters Stage 1 Stage 2 Stage 3 Stage 1 Stage 2 Stage 3 Stage 1 Stage 2 Stage 3 Learning rate 5.4 × 10−4 5.4 × 10−4 3.0 × 10−5 4.2 × 10−4 4.2 × 10−4 1.4 × 10−5 4.5 × 10−4 4.5 × 10−4 2 × 10−5 Visual Encoder LR multiplier 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 0.1 Fix langauge model ✓ × × ✓ × × ✓ × × LR scheduler Cosine Step Constant Cosine Step Constant Cosine Step Constant Weight decay 0.1 0.1 0.1 0.1 0.1 0.1 0....

**监督微调。** 在最后阶段，我们通过监督微调进一步提升预训练模型的指令遵循与对话能力。利用自研的视觉语言SFT数据，我们在仅对答案和特殊Token进行监督的同时优化所有参数，并对系统与用户提示进行掩码处理。为强化对话理解能力，我们将多模态数据与DeepSeek-V2 [53]的纯文本对话数据相结合。该方法确保了模型在各类视觉语言任务上的稳健表现，涵盖密集图像描述、通用视觉问答（VQA）、光学字符识别（OCR）、表格/图表/文档/图像理解、视觉转代码、视觉推理、视觉定位以及语言理解等。

4.2. Hyperparameters and Infrastructures

DeepSeek-VL2 训练的详细超参数列于表2中。我们基于 HAI-LLM [30] 开展训练与评估工作，该平台是专为大模型设计的高效轻量级框架。在流水线并行策略中，我们面临的一个主要挑战源于视觉编码器相较于 LLM 模块所具有的独特计算特性。作为模型流水线的起始组件，视觉编码器需在 GPU 间进行精细的负载均衡，以避免流水线气泡并提升 GPU 利用率。为此，我们在流水线并行策略中对视觉编码器进行了细粒度的层划分。此外，在前向与反向传播过程中，我们在不同数据并行进程间执行图像分块的负载均衡，以缓解动态分辨率策略引发的图像分块数量不均问题。训练过程还融合了张量并行与专家并行技术，以实现最优计算效率。鉴于部分数据批次仅含文本数据，而另一些包含图像数据，我们引入了两种不同的流水线策略。

[原文]Detailed hyperparameters for DeepSeek-VL2 training are listed in Table 2. We conducted our training and evaluation using HAI-LLM [30], an efficient and lightweight platform designed for large models. A significant challenge in our pipeline parallel strategy arose from the vision encoder’s unique computational characteristics compared to LLM blocks. As the first component in the model pipeline, the vision encoder requires careful load balancing across GPUs to prevent pipeline bubbles and optimize GPU utilization. To address this, we implemented fine-grained layer division of the vision encoder ...

4.2. Hyperparameters and Infrastructures

4.2. 超参数与基础设施

对齐阶段侧重于训练MLP连接器，以桥接预训练视觉编码器与大语言模型（LLM）。在该初始预热阶段，我们采用ShareGPT4V [ 12 ] 数据集，该数据集包含约1.2M个图像描述与对话样本。

[原文]Model #Params (LLM) #Params (VE) #Params (Activated) DocVQA ChartQA InfoVQA TextVQA OCRBench (test) (test) (test) (val) Closed Model GPT-4V [69] - - - 87.2 78.1 75.1 78.0 645 GPT-4o [32] - - - 92.8 85.7 79.2 77.4 736 Claude 3.5 Sonnet [5] - - - 95.2 90.8 74.1 74.1 788 Gemini-1.5-Pro [81] - - - 93.1 87.2 80.1 78.7 754 Open-source Model (0.5B - 3B) LLaVA-OV 0.5B [45] 0.5B 0.4B 0.9B 70.0 61.4 41.8 - - InternVL2-1B [16] - - 0.9B 81.7 72.9 50.9 70.5 754 MM 1.5-1B [107] - - 1B 81.0 67.2 50.5 72.5 605 DeepSeek-VL2-Tiny 0.6B† 0.4B 1.0B† 88.9 81.0 66.1 80.7 809 MolmoE-1B [22] 1.2B† 0.3B 1.5B† 77.7 78.0...

5.1. Multimodal Performance

5.1. 多模态性能

遵循 DeepSeek-VL [ 59 ] 的做法，我们的预训练数据结合了视觉-语言（VL）数据与纯文本数据，以在 VL 能力与纯文本性能之间保持平衡。对于 DeepSeek-VL2，我们维持约 70% VL 数据与 30% 纯文本数据的比例，后者直接来源于我们的基础大语言模型预训练语料库。下文我们将 VL 数据划分为若干类别，并详细介绍其构成。图文交错数据。我们的数据收集始于多个开源数据集，包括 WIT [ 79 ] 、WikiHow [ 38 ] 以及 OBELICS [ 41 ] 的 30% 随机采样数据。该特定混合比例是通过 DeepSeek-VL2-Tiny 的初步实验确定的。为增强多语言能力，我们从 Wanjuan [ 29 ] 中提取中文内容，对以英文为主的数据集进行了补充。此外，我们开发了内部数据集，以扩展对通用现实世界知识的覆盖范围。图像描述数据。图像描述是视觉语言模型（VLM）训练中的基础数据，为视觉与文本信息提供直接对齐。我们最初利用了多种开源数据集 [ 50 , 78 , 73 , 51 , 48 , 82 , 40 , 36 , 39 , 8 , 80 , 37 , 25 , 28 ] 。然而，我们的初步分析显示这些数据集之间存在严重的质量差异，范围从由先进 VLM 生成的详尽、准确的描述，到存在描述简略、图文对不匹配或明显幻觉等问题的案例。为解决这些质量不一致问题，我们开发了一套综合的图像描述流水线，该流水线综合考虑：(1) OCR 提示，(2) 元信息（如地理位置、相机参数），以及 (3) 相关的原始描述作为提示。我们使用自研描述生成模型，遵循与 PixelProse [ 78 ] 相似的提示策略对图像重新生成描述，采用多样化的指令引导 VLM 的描述生成过程。尽管描述质量整体有所提升，但我们在大规模标注流水线中观察到了重复问题

[原文]Benchmarks We perform a holistic evaluation of DeepSeek-VL2 across a collection of com- monly used benchmarks, including DocVQA [66], ChartQA [65], InfoVQA 2 [67], TextVQA [77], RealWorldQA [95], OCRBench [57], AI2D [34], MMMU [105], MMStar [13], MathVista [60], MME [26], MMBench, MMBench-V1.1 [58] and MMT-Bench [100]. These benchmarks span diverse tasks from document understanding and chart interpretation to real-world problem solv- ing, enabling comprehensive evaluation of our model’s capabilities. To evaluate the grounding capability of our models, we test DeepSeek-VL2 on the RefCOCO, RefCO...

5.1. Multimodal Performance

es. 为缓解此问题，我们利用 DeepSeek Chat [ 53 ] 构建了一个质量控制流程，仅依据写作质量对所有图像描述进行评分。在实践中，该方法在过滤低质量图像描述方面既高效又有效。光学字符识别（OCR）数据。为开发 OCR 能力，我们使用了包括 LaTeX OCR [ 7 ] 和 12M RenderedText [ 93 ] 在内的开源数据集。我们将这些数据集与一个涵盖多种文档类型的庞大内部 OCR 数据集相结合。目前，我们的内部数据集主要侧重于英文和中文的字符识别。我们计划在后续工作中将其扩展至其他语言。视觉问答（QA）数据。在早期的探索中，我们发现通用 QA 数据对模型预训练具有明显的益处。因此，我们构建了一个综合性的视觉 QA 数据集，包含以下类别：• 通用 VQA。我们继承了来自 DeepSeek-VL 的通用 VQA 数据。更多细节请参阅 [ 59 ] 。• 表格、图表与文档理解。我们采用 PubTabNet [ 112 ] 、FinTabNet [ 111 ] 和 Docmatix [ 42 ] 以增强文档理解能力。• 网页转代码与图表转 Python 代码生成。遵循 DeepSeek-VL 的做法，我们利用 Websight [ 44 ] 获取网页转代码能力，并使用从公开 Jupyter 笔记本中获取的 Python 图表数据。我们通过使用 DeepSeek V2.5 对部分 Websight 数据进行复现来增强该数据集。我们还利用 DeepSeek V2.5 生成的 Python 图表代码，以减轻图表转代码数据中的噪声。• 带视觉提示的 QA。我们遵循 [ 9 ] 的方法，通过将各种视觉指示符（箭头、方框、圆圈和涂鸦）叠加到来自 [ 9 , 89 , 90 ] 的图像上，构建视觉提示理解数据。随后，我们创建了聚焦于这些视觉提示所高亮对象的 QA 对。视觉定位数据。我们基于 [ 71 , 75 ] 构建视觉定位数据集。针对每张图像的目标检测标注，我们将数据结构化如下：• 提示词：定位 <|ref|><|/re

[原文]Model #Params MMStar AI2D MMMU MME MMBench MMBench MMBench-V1.1 MMT-Bench RealWorldQA MathVista (Activated) (test) (val) (sum) (en test) (cn test) (testmini) Closed Model GPT-4V [69] - 56.0 89.4 63.1 1,927 81 80.2 80 64.3 61.4 58.1 GPT-4o [32] - 63.9 94.2 69.1 2,329 83.4 82.1 82.2 65.5 75.4 63.8 Claude 3.5 Sonnet [5] - 62.2 94.7 68.3 1,920 79.7 80.7 78.5 - 60.1 67.7 Gemini-1.5-Pro [81] - - 94.4 62.2 - - - - 64.5 70.4 63.9 Open-source Model (0.5B - 3B) LLaVA-OV 0.5B [45] 0.9B 37.7 57.1 31.4 1,478 61.6 55.5 59.6 - 55.6 34.8 InternVL2-1B [16] 0.9B 45.7 64.1 35.4 1,794 65.4 60.7 61.6 49.5 50.3 37....

5.1. Multimodal Performance

f|> 在给定图像中。 • 回复： <|ref|><|/ref|><|det|>[[x1, y1, x2, y2],…]<|/det|> 在训练过程中，问题提示语从候选池中随机采样。 <|ref|>、<|/ref|>、<|det|>、<|/det|> 为特殊标记。是类别名称（例如，“car”）或物体描述（例如，“the leftmost person”）的占位符。[[x1, y1, x2, y2], …] 是一个边界框列表，其中每个边界框对应一个物体的位置。坐标 x1, y1 和 x2, y2 分别指定左上角和右下角，并根据图像分辨率归一化为 0 到 999 之间的值。我们还构建了负样本，其中被查询的物体故意不在图像中出现，以增强模型的鲁棒性。视觉定位对话数据。我们的视觉定位对话数据集源自文献 [ 71 ] ，结构如下所示： • 提示： <|grounding|>Can you describe the content of the image? • 回复： Two <|ref|>dogs<|/ref|><|det|>[[x1, y1, x2, y2],…]<|/det|> are running on the grass. 与其他视觉定位数据类似，<|grounding|>、<|ref|>、<|/ref|>、<|det|>、<|/det|> 均为特殊标记，且 x1, y1, x2, y2 遵循相同的归一化方案。

[原文]On the grounding benchmarks, we compare DeepSeek-VL2 with Groudning DINO [56], UNINEXT [52], ONE-PEACE [87], mPLUG-2 [97], Florence-2 [96], InternVL2 [16], Shikra [11], TextHawk2 [103], Ferret-v2 [108], MM1.5 [107] and Qwen2 [88].Our models outperforms the other VLMs at similar scales.

5.2. Qualitative Study

在本节中，我们展示了 DeepSeek-VL2 的多项能力，涵盖从通用问答到视觉叙事与视觉定位。通用视觉问答。得益于我们全新的视觉-语言（VL）预训练数据集与多样化的监督微调（SFT）数据，DeepSeek-VL2 在通用视觉问答任务上展现出显著提升的能力，如图 4 所示。总体而言，该模型在密集图像描述方面表现卓越，能够准确识别常见地标、通用视觉知识以及中英文富文本。此外，该模型在图表理解任务中表现良好，具备准确的属性识别能力。进一步地，我们在图 5 中展示了 DeepSeek-VL2 在梗图（meme）理解方面的改进，模型能够准确描述上下文语境，并结合相关的文化背景阐释其中的幽默内涵。

[原文]In this section, we demonstrate different capabilities of DeepSeek-VL2, ranging from general question answering to visual storytelling and visual grounding. General visual question answering. Benefited from our new VL pretraining dataset and diverse SFT data. DeepSeek-VL2 demonstrated significantly improved ability on general visual question answering, as shown in Figure 4. Overall, this model excels at dense image description and it is able to recognize common landmarks, general visual knowledge, and rich-texts in both English and Chinese. It also performs favorably on chart understanding wit...

图像描述请详细描述此场景。这是一幅广阔的海岸景观，以高耸的石灰岩柱为主体，它们从碧蓝的海水中拔地而起。这些自然地貌属于位于澳大利亚维多利亚州大洋路（Great Ocean Road）的十二门徒岩（The Twelve Apostles）地质构造的一部分。前景中矗立着一根最靠近观察者视角的显著岩柱；其两侧伴有较小的岩柱向远方地平线延伸，由于大气薄雾或海雾的部分笼罩，它们在远处逐渐变得模糊。画面右侧是一片沙滩，它轻柔地蜿蜒环绕，仿佛拥抱着构成此场景背景的崎岖悬崖。上方的天空看似多云，但漫射的阳光照亮了部分崖壁，在一些区域投下微妙的阴影，同时凸显了其他部分，为整体构图增添了深度与质感。微小的波浪拍打着岩柱底部和近岸海岸线，激起白色的泡沫图案，与下方深蓝绿色的海水形成鲜明对比。在各处还能看到植被，包括某些岩柱的顶部，在以大地色调为主的岩石结构中点缀出一抹绿意。

5.2. Qualitative Study

这幅宁静而壮丽的海景通过地貌、水体、光照条件与植被之间的相互作用，展现了大自然的宏伟，所有元素在同一视觉空间中和谐共存。这幅图描绘了一个湖边的日落景象,周围有山峦和一些停泊在水面的船只。特别显眼的是中间的一艘大船,船上有着类似中国传统建筑风格的屋檐。这种建筑风格非常像中国古代建筑,尤其是皇家或寺庙建筑。这种场景可能位于中国的某个著名湖泊,例如杭州的西湖或南京的玄武湖等。特别是如果这艘船是仿古式的游船,那么它很可能位于西湖景区。西湖是中国最著名的湖泊之一,周围有着秀丽的山景和古建筑,常常成为游客观光和体验传统文化的地方。因此,图片中展示的可能是中国的西湖,那个有着丰富的历史文化和自然美景的地方。猜猜这是哪里？地标识别请给这幅景象写一首诗《望公山》浮云出岫晓轻寒, 郁郁苍山展画屏。几树孤影来绿野, 一泓深水抱金城。鸿鸣远岫千山起, 鹤伴闲居万物兴。尽望烟霞山色秀, 却寻春色过江亭。诗歌创作

[原文]This serene but powerful seascape captures nature’s grandeur through its interplay between landforms, water bodies, light conditions, and vegetation all harmoniously coexisting within the same visual space. 这幅图描绘了⼀个湖边的⽇落景象,周围有⼭峦和⼀些停泊在⽔⾯的船只。特别显眼的是中间的⼀艘⼤船,船上有着类似中国传统建筑⻛格的屋檐。这种建筑⻛格⾮常像中国古代建筑,尤其是皇家或寺庙建筑。这种场景可能位于中国的某个著名湖泊,例如杭州的⻄湖或南京的⽞武湖等。特别是如果这艘船是仿古式的游船,那么它很可能位于⻄湖景区。⻄湖是中国最著名的湖泊之⼀,周围有着秀丽的⼭景和古建筑, 常常成为游客观光和体验传统⽂化的地⽅。因此,图⽚中展示的可能是中国的⻄湖,那个有着丰富的历史⽂化和⾃然美景的地⽅。猜猜这是哪里？ Landmark Recognition 请给这幅景象写⼀⾸诗《望公⼭》浮云出岫晓轻寒, 郁郁苍⼭展画屏。⼏树孤影来绿野, ⼀泓深⽔抱⾦城。鸿鸣远岫千⼭起, 鹤伴闲居万物兴。尽望烟霞⼭⾊秀, 却寻春⾊过江亭。 Poet Writing The cake in ...

图中的蛋糕以经典卡通系列《猫和老鼠》为主题。该系列由威廉·汉纳（William Hanna）和约瑟夫·巴伯拉（Joseph Barbera）创作，于1940年首播，并成为有史以来最著名的动画节目之一。故事围绕狡猾的汤姆猫与杰瑞鼠之间永无止境的追逐展开。每一集通常描绘汤姆制定各种计划试图抓住杰瑞，却屡屡被杰瑞的机智与狡黠所挫败或反制。这对经典搭档是持续竞争与幽默的象征，其互动数十年来一直是流行文化的重要组成部分。该蛋糕通过其设计与装饰，捕捉了二者嬉戏与混乱关系的精髓。你能介绍这款蛋糕的背景故事吗？通识知识

图表理解请为我解释一下这张图表。该图表展示了基于六种语言（阿拉伯语 ar、法语 fr、俄语 ru、泰语 th、土耳其语 tr 和中文 zh）的平均归一化得分对多语言数据集的对比情况。

5.2. Qualitative Study

横轴表示训练词元（tokens）的数量（单位为十亿），纵轴显示平均归一化得分，该得分用于衡量模型性能。 ### 关键点： ### 解读：该图表强调了数据集质量与规模对于在多语言任务中实现高模型性能的重要性。FineWeb 2 的优异结果表明，其具有提升多种语言应用场景下语言模型训练效果的潜力。

[原文]The x-axis represents the number of training tokens in billions, while the y-axis shows the average normalized score, which is a measure of model performance. ### Key Points: 1. **Datasets Compared**: - FineWeb 2 (Ours) - CulturaX - HPLT-2 - CC-100 - CommonCrawl - mC4 - HPLT 2. **Trend Analysis**: - FineWeb 2 consistently achieves the highest average normalized score, indicating superior performance compared to other datasets across the given range of training tokens. - The other datasets show varying levels of performance but tend to converge towards a similar score as the number of training ...

图中在宣传什么东西？自2012年起服务灵魂文本识别大黑板上写了什么。

图中展示的是与西湖醋鱼相关的食品和饮品。左边的广告牌上展示的是西湖醋鱼蛋糕（West Lake Fish Cake），它是一种以西湖醋鱼为主题的食物。右边的广告牌则是在宣传西湖醋鱼咖啡，这种咖啡被称为“铁狗咖啡”，其特色是将西湖醋鱼的特色和杭州当地的经验结合在一起，把西湖醋鱼的味道融入到咖啡中。西湖醋鱼是杭州的一道著名美食，主要使用草鱼制作，经过料酒、醋、糖等调料烹饪，酸甜可口。现在通过将西湖醋鱼加入到其他食品和饮品中，这一传统美食得到了全新的诠释。

5.2. Qualitative Study

本模型具备多维度的能力，涵盖地标识别、基于图像的诗歌创作、常识问答、图表理解、文本识别等。 13 这张梗图展示了一位老人在海边，似乎正在试图用锤子将一些东西打进沙滩的情景。上方配文是“试图挽留假期的我”，显然将老人的行为与“留不住”假期的情况联系在一起。 ### 分析与解读：

[原文]Our model has multi- faceted capabilities, including recognition of landmarks, image-based poetry composition, answering questions about general knowledge, understanding charts, recognizing text, and more. 13 这张梗图展示了⼀位⽼⼈在海边，似乎正在试图⽤锤⼦将⼀些东⻄打进沙滩的情景。上⽅配⽂是“试图挽留假期的我”，显然将⽼⼈的⾏为与“留不住”假期的情况联系在⼀起。 ### 分析与解读： 1. **图像情景与动作对⽐的幽默性**： - ⽼⼈的动作显得⼗分徒劳，因为沙滩与⽔边的沙⼦难以固定，他试图⽤锤⼦钉住什么，这显然是⼀件⽆法实现的事情。这形象地表现了⼀个⼈在⾯对不可抗拒的⼒量（如假期结束）时的⽆奈和⽆助。 2. **⽂字与画⾯的结合**： - “试图挽留假期的我”与图⽚形成直接关联，画⾯展现了⼀种滑稽的、略带夸张的尝试挽留假期的情景。⼈们在⽣活中也常常试图阻⽌即将结束的假期，⽐如试图在假期最后⼏天拖延，推迟归程等。这个梗将这种⼼理状态以幽默的⽅式表现出来。 3. **⽂化背景**： - 假期结束是很多现代⼯作族的共同感受，尤其是⾯临节后综合症，⼈们会感到⾮常焦虑、不适...

### 总结：这张梗图通过图像和文字的结合，利用一种幽默和夸张的手法，表达了人们在假期结束时试图“挽留”假期的无奈和心理挣扎。它反映了一种普遍的情感，尤其是在现代快节奏的生活中，假期是人们难得的放松时间，当假期即将结束时，人们往往感到焦虑和不舍。详细解释一下这张梗图该图像幽默地呈现了一名博士生截然不同的心理状态。左侧，学生正伏案工作，四周环绕着书籍与论文，脑海中却憧憬着惬意的海滩假期；右侧，学生虽身处海滩，但思绪仍被工作占据，画面以堆积的纸张和笔记本电脑予以具象化。这揭示了博士生群体的一种普遍现象：即便在物理空间上脱离工作环境，他们往往也难以完全从科研任务中抽离。该图像暗示了何种含义？梗图理解请为我解析此梗图。该图像描绘了一个涉及幼童与蛋糕的幽默场景。画面中，孩子神情坚定且略带顽皮，正咬向桌上的一块大巧克力蛋糕。图片上方的配文为：“妈妈叫我别碰它。” ### 分析与含义：

5.2. Qualitative Study

这种夸张的行为与看似简单的指令形成对比，产生了出人意料且有趣的结果。简而言之，该图像幽默地捕捉了童年时期顽皮的反抗精神，通过孩子咬下一口“禁食”蛋糕的视觉画面，增强了幽默感与共鸣度。这张图为什么好笑这张图是一种常见的幽默梗图，表达了在考试时学生可能会感受到的“无力感”或“打击感”。 ### 图中含义：

[原文]The over-the-top behavior contrasts with the seemingly simple instruction, creating an unexpected and funny outcome. 3. **Relatable scenario**: This image humorously captures a widely understood, everyday behavior— children wanting things they are told they cannot have, leading to playful and sometimes rebellious actions. 4. **Visual cue**: The child's action of taking a bite adds a dynamic and engaging element to the humor, amplifying the sense of mischief and delight in the moment.In short, this image humorously captures the playful defiance of childhood, using the visual of a child taking a...

### 结论：这张图通过戏剧化的反差，幽默地讽刺了在考试中面对挑战时的矛盾心理，很容易让经历过类似情景的人会心一笑。 14 多图对话当然可以！这个食谱使用了胡萝卜、玉米和猪肋排，可以做出的味道非常丰富。你可以尝试这道胡萝卜玉米猪肋排锅。 ### 胡萝卜玉米猪肋排锅 #### 材料： - 猪肋排500克 - 胡萝卜3根 - 玉米2根 - 葱适量 - 姜适量 - 蒜适量 - 八角1颗 - 料酒2汤匙 - 酱油1汤匙 - 糖1汤匙 - 盐适量 - 鸡精或味精（可选） #### 步骤：

这道胡萝卜玉米猪肋排锅，味道丰富，营养均衡，非常适合喜欢尝试不同口感的朋友。能帮我用这几个食材做一道菜吗？我现在正在吃午餐，我喜欢甜食。搭配这顿饭喝什么饮料比较好？搭配您这顿饭的不错选择可能是图3中的奶昔。奶昔的甜味可以与您意大利面菜肴的风味相得益彰。 15 你能根据这些照片帮我写一篇简短的旅行故事吗？标题：“穿越时光与光影的旅程” 等待是一场充满期待的交响乐，每一个音符都是对旅行之神的无声祈祷。

5.2. Qualitative Study

我坐在巴黎机场的候机大厅里，头顶上方是粗体而亲切的“BIENVENUE”字样。埃菲尔铁塔的标志静静悬浮，预示着即将到来的旅程。我伸手探入包中，指尖触到行李箱把手冰凉的金属质感，咬了咬嘴唇，努力不让自己进一步陷入灰色座椅的舒适之中。顶灯发出轻微的嗡嗡声，洒下清冷的光晕，既未提振也未安抚我的神经。我登上飞机，引擎的轰鸣声宛如一曲充满期许的交响乐。当我们飞越云层之上，下方的世界化作一幅错落有致的生活图景——房屋、道路、河流，每一处都蕴藏着待诉的故事。随后，熟悉的凯旋门尖顶映入眼帘，其宏伟气势见证了人类的雄心壮志。我全神贯注地注视着飞机缓缓降落，这座标志性的拱门宛如希望与历史的灯塔。蔚蓝的天空如画布般展开，微笑着迎接我们的到来。终于，飞机着陆。候机大厅里生机盎然，各种语言与笑声交织成一片喧嚣。我穿过玻璃大门，门外的世界是一片绿灰交织的模糊光影。我置身于一间展厅，蒙娜丽莎的目光穿透时光的迷雾凝视着我，那是一份未被岁月侵蚀的谜团。金色的画框微微闪烁，我感受到一种共鸣，一个转瞬即逝的顿悟时刻。玻璃上的倒影向我展示了另一种视角，提醒着美在于观者的眼中。我离开展厅，蒙娜丽莎那神秘的微笑仍深深印刻在我的脑海中。这段旅程宛如光影的共舞，一系列瞬间交织成曲，勾勒出一座每个角落都藏着故事的城市。当我踏出室外，巴黎的夜色将我拥入怀中，这份欢迎既古老又崭新，恰如这座城市本身。视觉故事生成用这些图片讲一个故事吧《雪夜的奇遇》冬日的寒风在山谷中低语，雪花轻轻飘落在老鼠先生的蓝色连帽外套上。他肩上的柳条篮子里装满了红苹果，仿佛是这个寒冷世界中唯一的温暖。老鼠先生微笑着，尽管天气寒冷，他的心中却充满了期待。他知道，今晚将是一个不平凡的夜晚。夜幕降临，老鼠先生走进了一片神秘的玫瑰花园。中央那朵粉红色的玫瑰，花瓣在月光下闪烁着柔和的光芒。老鼠先生轻轻触摸花瓣，突然，花园中的一切都静止了，只有他心中那股莫名的力量在涌动。就在这时，一位白发苍苍的巫师出现在他面前。巫师手中的火球闪烁着橙黄色的光芒，仿佛在诉说着古老的魔法。巫师告诉老鼠先生，这片花园隐藏着一个秘密，只有真正的勇士才能解开。老鼠先生鼓起勇气，跟随巫师来到了一片沐浴在金色阳光中的田野。高大的树影在阳光下显得格外神秘。巫师将火球放在树下，瞬间，树干中涌出了一股温暖的力量。老鼠先生感到一股力量从心底涌出，他知道，这是大自然的馈赠。当夜幕再次降临，老鼠先生带着满篮的红苹果回到了山谷。他微笑着，心中充满了满足与希望。这个冬天，他不仅找到了温暖，还发现了内心的力量。

[原文]I sat in the Paris Airport terminal, the word "BIENVENUE" etched in bold, inviting letters above me.The Eiffel Tower symbol floated serenely, a promise of what was to come. I reached into my bag, feeling the cool metal of my suitcase handle, and bit my lip, trying not to sink further into the comfort of the grey seats. The ceiling lights buzzed softly, casting a sterile glow that neither cheered nor soothed my nerves. I boarded the plane, the roar of engines a symphony of promise. As we soared above the clouds, the world below became a patchwork of life—houses, roads, rivers—each a story waiti...

5.2. Qualitative Study

多图对话。如图6所示，DeepSeek-VL2在多图对话任务上展现了更强的能力。我们的模型能够分析多张图片之间的关联与差异，同时通过整合多张图片的内容实现简单的推理。例如，它可以根据某些食材的图片思考如何烹饪一道菜肴。视觉叙事。在图7中，我们展示了DeepSeek-VL2能够根据少量图片创作故事。其故事创作能力得益于强大的通用视觉能力，如地标识别和OCR（光学字符识别），文中以绿色高亮文本标出。此外，由于故事创作能力源自纯文本的DeepSeek Chat模型，该模型已具备良好的安全对齐，因此在我们内部测试中，未观察到DeepSeek-VL2产生明显的有害或不适宜（NSFW）输出。然而，值得注意的是，现实场景中的创意叙事需要更多样化的题材（如恐怖、喜剧、动作）和多样的情节类型（如圆满或悲剧结局），这可能与LLM/VLM研究中的安全要求存在内在冲突。

[原文]Our models of different sizes have all achieved the best results among MLLMs with similar sizes.Model RefCOCO RefCOCO+ RefCOCOg val testA testB val testA testB val test Vision Model Grounding DINO-Tiny [56] 89.2 91.9 86.0 81.1 87.4 74.7 85.2 84.9 Grounding DINO-Largey [56] 90.6 93.2 88.2 82.8 89.0 75.9 86.1 87.0 UNINEXT-H [52] 92.6 94.3 91.5 85.2 89.6 79.8 88.7 89.4 VLM + Task-Specific Fine-Tuning ONE-PEACE [87] 92.6 94.2 89.3 88.8 92.2 83.2 89.2 89.3 mPLUG-2 [97] 90.1 92.8 86.1 - - 86.1 84.7 85.1 Florence-2-B [96] 92.6 94.8 91.5 86.8 91.7 82.2 89.8 82.2 Florence-2-L [96] 93.4 95.3 92.0 88.3 9...

5.2. Qualitative Study

我们旨在探索在应对这些挑战的同时，拓宽叙事应用范围的解决方案。视觉定位。视觉定位是我们为 DeepSeek-VL2 引入的一项新能力。如图 8 所示，我们展示了 DeepSeek-VL2 的通用定位能力。有趣的是，尽管我们训练集中的大部分图像来自自然场景，且指代表达式多为物体类别名称或具体描述，但我们发现该模型能够泛化至其他场景（如网络迷因与动漫），并具备识别特定名人及抽象概念的能力。此外，我们在图 10 中展示了 DeepSeek-VL2 具备上下文视觉定位能力。自然场景找到DeepThink 按钮。网页界面/截图找到淡定姐。动作游戏在图像中用坐标精确定位通知。孙悟空网络迷因/动漫在给定图像中定位太空针塔。找到所有的葫芦娃。最孤独的人狐獴找到所有西瓜片识别出这张图片中的阿尔伯特·爱因斯坦。识别图像中的所有物体，并以边界框形式输出。后面的长颈鹿

[原文]We aim to explore solutions to broaden the scope of storytelling while considering these challenges.Visual grounding. Visual grounding is a new ability we bring to DeepSeek-VL2. In Figure 8, we show the general grounding ability of DeepSeek-VL2. Interestingly, although the majority of images in our training set come from natural scenes, and the referring expressions are object category names or specific descriptions of objects, we find that the model is capable of generalizing to other scenarios (such as memes and animes), and has the ability to recognize certain celebrities and abstract conce...

基于定位的对话如果你觉得热，你会怎么做？为了降温，你可以使用放在桌子上的风扇[[166, 460, 338, 712]]。我是无花果爱好者，你会推荐哪一个？如果你是无花果爱好者，一定要试试绿色蛋糕[[635, 299, 951, 690]]。这是一款抹茶无花果蛋糕，是他们菜单上的新品。嗯，你可以使用放在人行道上的垃圾桶[[583, 639, 811, 994]]。我现在想扔垃圾，该怎么办？如何维护世界和平？这是一个大问题，但一种方法可能是博物馆不展出像大炸弹[[53, 997, 932]]这样的破坏性武器。

5.2. Qualitative Study

我们的模型能够在对图像进行推理的同时识别相关对象的位置，从而使其具备与现实世界交互的潜力。上下文视觉定位在第一张图像中，红色矩形框内的一个对象已被标记。请在第二张图像中定位同类对象。在第二张图像中找出第一张图像中出现频率最高的水果。根据第一张图像，第二张图像中的哪道菜包含该食材？

[原文]Our model can perform reasoning on images while identifying the locations of relevant objects, thereby enabling the possibility of interacting with the real world.In-context Visual Grounding In the first image, an object within the red rectangle is marked. Locate the object of the same category in the second image. Find the most frequently appearing fruit from the first image in the second image. According to the first image, which dish contains that ingredient in the second image? Figure 10 | In-context visual grounding with DeepSeek-VL2. Given one imag...

6. Conclusion

在本技术报告中，我们介绍了 DeepSeek-VL2，这是一种基于混合专家（MoE）架构的视觉-语言模型的增强版本。该模型提供总计 3B、16B 和 27B 参数的规模，对应的激活参数分别为 1.0B、2.8B 和 4.5B。该配置在训练和推理阶段均能实现高效的计算开销。值得注意的是，我们的 3B、16B 和 27B 模型可分别部署在显存为 10GB、40GB 和 80GB 的单张 GPU 上。我们采用动态分块视觉编码策略，以高效处理具有不同宽高比的高分辨率图像。通过公开代码和预训练模型，我们旨在推动视觉与语言交叉领域的进一步发展与广泛应用。局限性与未来工作尽管 DeepSeek-VL2 在多项任务中展现出强大的能力，但仍存在若干可进一步改进的方面。目前，DeepSeek-VL2 的上下文窗口仅支持每次对话会话输入少量图像。我们计划在下一版本中扩展上下文窗口，以支持更丰富的多图像交互。此外，与当前其他视觉-语言模型（VLM）类似，该模型在处理模糊图像或未见过的物体时偶尔会面临挑战，这为未来版本提升模型鲁棒性提供了改进空间。最后，尽管 DeepSeek-VL2 在视觉感知与识别任务中表现优异，但我们仍致力于进一步强化其推理能力。上述已明确的改进方向将指导我们后续的研究工作，以持续推动模型能力的提升。

[原文]In this technical report, we introduce DeepSeek-VL2, an enhanced version of MoE-based Vision- Language Models, available in scales of 3B, 16B, and 27B parameters in total, with corresponding activated parameters of 1.0B, 2.8B, and 4.5B. This configuration facilitates efficient computational consumption during both training and inference stages. Notably, our 3B, 16B and 27B models can be deployed on a single GPU with 10 GB, 40GB and 80GB memory respectively. We employ a dynamic tiling vision encoding strategy to efficiently process high-resolution images with various aspect ratios. By making co...

References

8.0B 91.6 83.3 74.8 77.4 794 Qwen2-VL-7B [88] 7.6B 0.7B 8.3B 94.5 83.0 76.5 84.3 845 Pixtral-12B [3] 12.0B 0.4B 12.4B 90.7 81.8 (CoT) 50.8 75.7 DeepSeek-VL 7B [59] 6.9B 0.4B 7.3B - - - - 456 DeepSeek-VL2 4.1B† 0.4B 4.5B† 93.3 86.0 78.1 84.2 811

2023. URL https://www.databricks.com/blog/2023/04/12/dolly-first-ope

DeepSeek-VL2 训练的详细超参数列于表 2。我们使用专为大模型设计的高效轻量级平台 HAI-LLM [ 30 ] 进行了训练与评估。在流水线并行策略中，一个显著的挑战源于视觉编码器相较于大语言模型（LLM）模块所具有的独特计算特性。作为模型流水线中的首个组件，视觉编码器需要在各 GPU 间进行精细的负载均衡，以避免流水线气泡并优化 GPU 利用率。为此，我们在流水线并行策略中实施了视觉编码器的细粒度层划分。此外，在前向与反向传播过程中，我们在不同的数据并行 rank 间执行图像块负载均衡，以缓解动态分辨率策略所导致的图像块数量不均问题。我们的训练过程还融合了张量并行与专家并行技术，以实现最优训练效率。鉴于部分数据批次仅包含文本数据，而另一些则包含图像数据，我们针对不同类型的数据设计了两种不同的流水线策略，并可根据需求在两者间动态切换。DeepSeek-VL2 的训练在由 16/33/42 个节点组成的集群上完成，耗时分别为 7/10/14 天，每个节点均配备 8 张 NVIDIA A100 GPU。

[原文]Gqa: A new dataset for real-world visual reasoning and compositional question answering.In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 6700–6709, 2019. [32] A. Hurst, A. Lerer, A. P. Goucher, A. Perelman, A. Ramesh, A. Clark, A. Ostrow, A. Weli- hinda, A. Hayes, A. Radford, et al. Gpt-4v(ision) system card. 2023. [33] S. Kazemzadeh, V. Ordonez, M. Matten, and T. Berg. Referitgame: Referring to objects in photographs of natural scenes. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP), pages 787–798, 20...

251. Springer, 2016.

5.1 多模态性能基准

我们在 DocVQA [66]、ChartQA [65]、InfoVQA 2 2 2 鉴于 InfoVQA 包含极端长宽比与超大尺寸图像，评估时我们将候选分辨率扩大为 C_R=\{(m\cdot 384,n\cdot 384)\mid m\in\mathbb{N},n\in\mathbb{N},1\leq m,n,mn\leq 18\}。[67]、TextVQA [77]、RealWorldQA [95]、OCRBench [57]、AI2D [34]、MMMU [105]、MMStar [13]、MathVista [60]、MME [26]、MMBench、MMBench-V1.1 [58] 与 MMT-Bench [100] 等常用基准上对 DeepSeek-VL2 进行 holistic 评估。这些基准涵盖文档理解、图表解读到真实世界问题求解等多样化任务，可全面评估模型能力。为评估定位能力，我们在 RefCOCO、RefCOCO+ 与 RefCOCOg 基准 [33, 64] 上测试 DeepSeek-VL2。

[原文]Multimodal ArXiv: A dataset for improving scientific comprehension of large vision-language models.In ACL, 2024. [49] L. Li, Y. Wang, R. Xu, P. Wang, X. Feng, L. Kong, and Q. Liu. Multimodal arxiv: A dataset for improving scientific comprehension of large vision-language models. arXiv preprint arXiv:2403.00231, 2024. [50] X. Li, F. Zhang, H. Diao, Y. Wang, X. Wang, and L.-Y. Duan. Densefusion-1m: Merging vision experts for comprehensive multimodal perception. arXiv preprint arXiv:2407.08303, 2024. [51] Z. Li, X. Yang, K. Choi, W. Zhu, R. Hsieh, H. Kim, J. H. Lim, S. Ji, B. Lee, X. Yan, et al. ...

表 4：与最先进模型在通用 QA 与数学相关多模态基准上的对比。†：MoE 模型的激活参数量。*：在不同设置下评估。

| 模型 | #Params (Activated) | MMStar (test) | AI2D (val) | MMMU (sum) | MME (en test) | MMBench (cn test) | MMBench-V1.1 (testmini) | MMT-Bench | RealWorldQA | MathVista | |---|---|---|---|---|---|---|---|---|---|---| | 闭源模型 GPT-4V [69] | - | 56.0 | 89.4 | 63.1 | 1,927 | 81 | 80.2 | 80 | 64.3 | 61.4 | 58.1 | | GPT-4o [32] | - | 63.9 | 94.2 | 69.1 | 2,329 | 83.4 | 82.1 | 82.2 | 65.5 | 75.4 | 63.8 | | Claude 3.5 Sonnet [5] | - | 62.2 | 94.7 | 68.3 | 1,920 | 79.7 | 80.7 | 78.5 | - | 60.1 | 67.7 | | Gemini-1.5-Pro [81] | - | - | 94.4 | 62.2 | - | - | - | - | 64.5 | 70.4 | 63.9 | | 开源模型 (0.5B-3B) LLaVA-OV 0.5B [45] | 0.9B | 37.7 | 57.1 | 31.4 | 1,478 | 61.6 | 55.5 | 59.6 | - | 55.6 | 34.8 | | InternVL2-1B [16] | 0.9B | 45.7 | 64.1 | 35.4 | 1,794 | 65.4 | 60.7 | 61.6 | 49.5 | 50.3 | 37.7 | | MM1.5-1B [107] | 1B | - | 59.3 | 35.8 | 1,611 | - | - | - | - | 53.3 | 37.2 | | DeepSeek-VL2-Tiny | 1.0B† | 45.9 | 71.6 | 40.7 | 1,915 | 73.3 | 69.2 | 68.3 | 53.2 | 64.2 | 53.6 | | MolmoE-1B [22

251. Springer, 2016.

] 1.5B† - 86.4* 34.9 - - - - - 60.4 34 MiniCPM-V 2.0 [99] 2.8B - - 38.2 1,809 69.6 68.1 - - - 38.7 InternVL2-2B [16] 2.2B 49.8 74.1 36.3 1,877 73.2 70.9 69.6 50.4 57.3 46.3 Qwen2-VL-2B [88] 2.2B 48 74.4 41.1 1,872 74.9 73.5 72.2 54.5 62.9 47.8 MM1.5-3B [107] 3B - 65.7 37.1 1,798 - - - - 56.9 44.4 DeepSeek-VL2-Small 2.8B† 57.0 80.0 48.0 2,123 82.3 80.3 79.3 62.9 65.4 60.7 Open-source Model (4B - 13B) Phi-3.5-Vision [1] 4.1B 47.5 78.1 43 - 76 66.1 72.1 53.6 53.6 43.9 InternVL2-4B [16] 4.1B 54.3 78.9 47.9 2,060 78.6 73.9 75.8 55.7 60.7 58.6 Aria-MoE [46] 4.3B† - - 54.9 - - - - - - 66.1 MM1.5-7B [107] 7B - 72.2 41.8 1,861 - - - - 62.5 47.6 LLaVA-OV 7B [45] 8.0B - 81.4 48.8 1,998 80.8 - - - 66.3 63.2 Molmo-7B-O [22] 7.6B† - 90.7* 39.3 - - - - - 67.5 44.5 MiniCPM-V2.6 [99] 8.0B 57.5 82.1 49.8 (CoT) 2,348 (CoT) 81.5 79.3 78.0 60.8 65.0 60.6 InternVL2-8B [16] 8.0B 61.5 83.8 51.8 2,210 81.7 81.2 79.4 60.0 64.4 58.3 Qwen2-VL-7B [88] 8.3B 60.7 83 54.1 2,327 83 80.5 80.7 63.7 70.1 58.2 Pixtral-12B [3] 12.4B - - 52.5 (CoT) - - - - - 65.4 58 (CoT) DeepSeek-VL 7B [59] 7.3B - - 36.6 - 73.2 - - - - - DeepSeek-VL2 4.5B† 61.3 81.4 51.1 2,253 83.1 79.6 79.2 63.6 68.4 62.8

[原文]Mathvista: Evaluating mathematical reasoning of foundation models in visual contexts.In The Twelfth International Conference on Learning Representations. [61] P. Lu, L. Qiu, J. Chen, T. Xia, Y. Zhao, W. Zhang, Z. Yu, X. Liang, and S.-C. Zhu. Iconqa: A new benchmark for abstract diagram understanding and visual language reasoning. arXiv preprint arXiv:2110.13214, 2021. [62] C. Ma, Y. Jiang, J. Wu, Z. Yuan, and X. Qi. Groma: Localized visual tokenization for grounding multimodal large language models. In European Conference on Computer Vision, pages 417–435. Springer, 2025. [63] Y. Ma, X. Liu, X...

表 5：与最先进模型在视觉定位基准上的对比。不同规模的模型均在相近规模 MLLM 中取得最佳结果。

| 模型 | RefCOCO val | testA | testB | RefCOCO+ val | testA | testB | RefCOCOg val | test | |---|---|---|---|---|---|---|---|---| | 视觉模型 Grounding DINO-Tiny [56] | 89.2 | 91.9 | 86.0 | 81.1 | 87.4 | 74.7 | 85.2 | 84.9 | | Grounding DINO-Large [56] | 90.6 | 93.2 | 88.2 | 82.8 | 89.0 | 75.9 | 86.1 | 87.0 | | UNINEXT-H [52] | 92.6 | 94.3 | 91.5 | 85.2 | 89.6 | 79.8 | 88.7 | 89.4 | | VLM + 任务特定微调 ONE-PEACE [87] | 92.6 | 94.2 | 89.3 | 88.8 | 92.2 | 83.2 | 89.2 | 89.3 | | mPLUG-2 [97] | 90.1 | 92.8 | 86.1 | - | - | 86.1 | 84.7 | 85.1 | | Florence-2-B [96] | 92.6 | 94.8 | 91.5 | 86.8 | 91.7 | 82.2 | 89.8 | 82.2 | | Florence-2-L [96] | 93.4 | 95.3 | 92.0 | 88.3 | 92.9 | 83.6 | 91.2 | 91.7 | | 开源 VLM (0.5B-3B) InternVL2-1B [16] | 83.6 | 88.7 | 79.8 | 76.0 | 83.6 | 67.

251. Springer, 2016.

7 80.2 79.9 DeepSeek-VL2-Tiny 84.7 87.8 78.4 75.9 83.9 67.4 73.8 83.9 InternVL2-2B [ 16 ] 82.3 88.2 75.9 73.5 82.8 63.3 77.6 78.3 DeepSeek-VL2-Small 93.9 95.3 91.3 89.4 92.9 84.8 92.6 92.6 Open-source VLM (4B - 9B) Shikra-7B [ 11 ] 87.0 90.6 80.2 81.6 87.4 72.1 82.3 82.2 TextHawk2-7B [ 103 ] 91.9 93.0 87.6 86.2 90.0 80.4 88.2 88.1 Ferret-v2-7B [ 108 ] 92.8 94.7 88.7 87.4 92.8 79.3 89.4 89.3 InternVL2-8B [ 16 ] 87.1 91.1 80.7 79.8 87.9 71.4 82.7 82.7 MM1.5-7B [ 107 ] - 92.5 86.7 - 88.7 77.8 - 87.1 Qwen2-VL-7B [ 88 ] 91.7 93.6 87.3 85.8 90.5 79.5 87.3 87.8 DeepSeek-VL2 95.1 96.7 92.7 91.2 94.9 87.4 92.8 92.9 与当前最优方法的对比在多模态理解基准测试上，我们将DeepSeek-VL2与当前最先进的模型进行了比较，包括LLaVA-OV [ 45 ]、InternVL2 [ 15 ]、DeepSeek-VL [ 59 ]、Qwen2-VL [ 88 ]、Phi-3.5-Vision [ 1 ]、Molmo [ 22 ]、Pixtral [ 3 ]、MM1.5 [ 107 ]和Aria-MoE [ 46 ]。结果报告于表3和表4中。得益于我们的MoE架构，DeepSeek-VL2在激活参数更少的情况下实现了相当或更优的性能。在定位基准测试上，我们将DeepSeek-VL2与Groudning DINO [ 56 ]、UNINEXT [ 52 ]、ONE-PEACE [ 87 ]、mPLUG-2 [ 97 ]、Florence-2 [ 96 ]、InternVL2 [ 16 ]、Shikra [ 11 ]、TextHawk2 [ 103 ]、Ferret-v2 [ 108 ]、MM1.5 [ 107 ]和Qwen2 [ 88 ]进行了比较。我们的模型在相似规模下优于其他视觉语言模型（VLM）。图4：DeepSeek-VL2的通用问答能力。我们的模型具备多方面的能力，包括地标识别、看图作诗、常识问答、图表理解、文本识别等。图5：DeepSeek-VL2的梗图（Meme）理解能力。我们的模型能够理解梗图中的幽默元素并提供解释。图6：DeepSeek-VL2的多图对话能力。我们的模型能够理解多张图片之间的关系，并基于此进行推理。图7：视觉故事

[原文]Large-scale classification of fine-art paintings: Learning the right metric on the right feature. arXiv preprint arXiv:1505.00855, 2015. [74] S.Shah, A. Mishra, N. Yadati, and P. P. Talukdar. Kvqa: Knowledge-aware visual question answering. In Proceedings of the AAAI conference on artificial intelligence, volume 33, pages 8876–8884, 2019. 25 [75] S. Shao, Z. Li, T. Zhang, C. Peng, G. Yu, X. Zhang, J. Li, and J. Sun. Objects365: A large-scale, high-quality dataset for object detection. In Proceedings of the IEEE/CVF international conference on computer vision, pages 8430–8439, 2019. [76] W. Sh...

251. Springer, 2016.

DeepSeek-VL2 的故事讲述能力。我们的模型能够接受多张图像作为输入，并基于这些图像用中文或英文讲述故事。

[原文]Openmathinstruct-2: Accelerating ai for math with massive open-source instruction data. arXiv preprint arXiv:2410.01560, 2024. [85] J.Wang, P. Zhang, T. Chu, Y. Cao, Y. Zhou, T. Wu, B. Wang, C. He, and D. Lin. V3det: Vast vocabulary visual detection dataset. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pages 19844–19854, 2023. [86] L. Wang, H. Gao, C. Zhao, X. Sun, and D. Dai. Auxiliary-loss-free load balancing strategy for mixture-of-experts. CoRR, abs/2408.15664, 2024. doi: 10.48550/ARXIV.2408.15664. URL https://doi.org/10.48550/arXiv.2408.15664. [87] P. Wang, ...

5.2 定性研究

在本节中，我们展示了 DeepSeek-VL2 的不同能力，涵盖从通用问答到视觉叙事和视觉定位。通用视觉问答。得益于我们新的视觉-语言（VL）预训练数据集和多样化的监督微调（SFT）数据。DeepSeek-VL2 在通用视觉问答方面展现出显著提升的能力，如图 4 所示。总体而言，该模型在密集图像描述方面表现优异，能够识别常见的地标、通用视觉知识以及中英文的富文本内容。该模型在图表理解方面同样表现良好，能够准确识别属性。此外，我们在图 5 中展示了 DeepSeek-VL2 在网络迷因（meme）理解方面的提升，它能够描述正确的上下文，并结合具有意义的文化背景解释其中的幽默之处。多图对话。DeepSeek-VL2 在多图对话方面展现出提升的能力，如图 6 所示。我们的模型能够分析多张图像之间的关联与差异，同时通过整合多张图像的内容实现简单的推理。例如，它能够根据特定食材的图像思考如何烹饪一道菜肴。视觉叙事。在图 7 中，我们展示了 DeepSeek-VL2 能够根据少量图像创作故事。故事创作得益于其强大的通用视觉能力，如地标识别和光学字符识别（OCR），如绿色高亮文本所示。此外，由于故事创作能力源自纯文本的 DeepSeek Chat 模型，该模型已具备良好的安全对齐，因此在我们内部测试中，未观察到 DeepSeek-VL2 产生显著的有害或不适宜工作场所（NSFW）的输出。然而，值得注意的是，现实场景中的创意叙事需要更多样化的体裁（例如，恐怖、喜剧、动作

251. Springer, 2016.

on）以及多样化的情节类型（例如，大团圆或悲剧结局），这可能与LLM/VLM研究中的安全要求存在内在冲突。我们旨在探索相关解决方案，以在兼顾这些挑战的同时拓宽故事生成的应用范围。图8：DeepSeek-VL2的视觉定位能力。我们的模型能够基于类别名称、描述或某些抽象概念来定位目标物体。图9：基于视觉定位的对话能力。我们的模型能够在识别相关物体位置的同时对图像进行推理，从而具备与现实世界交互的潜力。图10：DeepSeek-VL2的上下文视觉定位能力。给定一张图像（无论是否包含视觉提示），DeepSeek-VL2均能在另一张图像中定位到相关物体。视觉定位。视觉定位是我们为DeepSeek-VL2引入的一项全新能力。如图8所示，我们展示了DeepSeek-VL2的通用视觉定位能力。值得注意的是，尽管我们训练集中的图像主要来源于自然场景，且指代表达式多为物体类别名称或具体描述，但该模型展现出向其他场景（如网络迷因与动漫）泛化的能力，并能够识别特定名人及抽象概念。此外，图10展示了DeepSeek-VL2具备上下文视觉定位能力。给定第一张图像（其中目标物体由视觉提示指代），模型能够准确定位第二张图像中同类别的物体。我们还观察到该模型展现出了一定的涌现能力。在给定一张图像及文本描述的情况下，模型能够融合图像与文本信息，从而在第二张图像中识别出对应的目标物体。相关示例详见图10的第二行与第三行。基于定位的对话。借助特殊标记 <|grounding|>，DeepSeek-VL2能够激活其基于视觉定位的对话能力，在该模式下模型可指代关键物体

[原文]In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 4818–4829, 2024. [97] H.Xu, Q. Ye, M. Yan, Y. Shi, J. Ye, Y. Xu, C. Li, B. Bi, Q. Qian, W. Wang, et al. mplug-2: A modularized multi-modal foundation model across text, image and video. In International Conference on Machine Learning, pages 38728–38748. PMLR, 2023. [98] Z. Xu, F. Jiang, L. Niu, Y. Deng, R. Poovendran, Y. Choi, and B. Y. Lin. Magpie: Alignment data synthesis from scratch by prompting aligned llms with nothing. arXiv preprint arXiv:2406.08464, 2024. [99] Y. Yao, T. Yu, A. Zhang, C. Wang, ...

251. Springer, 2016.

在其响应中为s提供准确位置，如图9所示。这使得模型能够更好地与现实世界交互，从而为其在具身智能及计算机/手机智能体等领域发挥更大作用创造机遇。

[原文]Mm1.5: Methods, analysis & insights from multimodal llm fine-tuning. arXiv preprint arXiv:2409.20566, 2024. [108] H.Zhang, H. You, P. Dufter, B. Zhang, C. Chen, H.-Y. Chen, T.-J. Fu, W. Y. Wang, S.-F. Chang, Z. Gan, et al. Ferret-v2: An improved baseline for referring and grounding with large language models. arXiv preprint arXiv:2404.07973, 2024. [109] R. Zhang, X. Wei, D. Jiang, Y. Zhang, Z. Guo, C. Tong, J. Liu, A. Zhou, B. Wei, S. Zhang, P. Gao, and H. Li. Mavis: Mathematical visual instruction tuning, 2024. URL https: //arxiv.org/abs/2407.08739. [110] B. Zheng, B. Gou, J. Kil, H. Sun, and...

← 返回首页详细解读