DeepSeek-V3.2: Pushing the Frontier of Open Large Language Models

DeepSeek-V3.2：拓展开源大语言模型前沿

📄 arXiv: 2512.02556📅 2025-12-02英文 PDF中文 PDF

翻译进度 33 / 33 段 (100%)

中文摘要

DeepSeek-V3.2 引入 DeepSeek Sparse Attention（DSA）稀疏注意力机制和大规模强化学习框架，在推理和 Agent 能力上实现大幅超越。DSA 通过动态选择关键 token 进行注意力计算，在保持精度的同时显著降低计算复杂度。结合改进的 MoE 路由策略，V3.2 在多项基准测试中刷新开源模型记录。

阅读模式

左侧英文原版 · 右侧中文 PDF（A4 双栏排版）· 可分别滚动对照

English Original

中文翻译 PDF

中文翻译

📑 目录

Abstract 1. Introduction 1. Introduction 2.1. DeepSeek Sparse Attention 2.1.1. Continued Pre-Training 2.1.1. Continued Pre-Training 2.2. Parity Evaluation 2.3. Inference Costs 3. Post-Training 3. Post-Training 3.1. Scaling GRPO 3.1. Scaling GRPO 3.1. Scaling GRPO 3.2.1. Thinking Context Management 3.2.2. Cold-Start 3.2.3. Large-Scale Agentic Tasks 3.2.3. Large-Scale Agentic Tasks 3. To create tasks that are both challenging and automatically verifiable, the agent initially 3. To create tasks that are both challenging and automatically verifiable, the agent initially 4.1. Main Results 4.1. Main Results 4.1. Main Results 4.2. Results of DeepSeek-V3.2-Speciale 4.3. Synthesis Agentic Tasks 4.4. Context Management of Search Agent 5. Conclusion, Limitation, and Future Work References References 2019. URL http://arxiv.org/abs/1911.02150. 2019. URL http://arxiv.org/abs/1911.02150. 2019. URL http://arxiv.org/abs/1911.02150. 2019. URL http://arxiv.org/abs/1911.02150. 2019. URL http://arxiv.org/abs/1911.02150.

Abstract

摘要我们提出 DeepSeek-V3.2，该模型在实现高计算效率的同时，兼具卓越的推理与智能体（Agent）性能。DeepSeek-V3.2 的关键技术突破如下：（1）DeepSeek 稀疏注意力（DSA）：我们提出了 DSA，这是一种高效的注意力机制，在长上下文场景中显著降低了计算复杂度，同时保持了模型性能。（2）可扩展强化学习框架：通过实施稳健的强化学习协议并扩展训练后算力，DeepSeek-V3.2 的性能与 GPT-5 相当。值得注意的是，我们的高算力变体 DeepSeek-V3.2-Speciale 超越了 GPT-5，其推理能力与 Gemini-3.0-Pro 持平，并在 2025 年国际数学奥林匹克竞赛（IMO）与国际信息学奥林匹克竞赛（IOI）中均达到金牌获奖水平。（3）大规模智能体任务合成流水线：为将推理能力融入工具使用场景，我们开发了一种新颖的合成流水线，可系统化地大规模生成训练数据。该方法有效支撑了可扩展的智能体训练后优化，在复杂交互环境中显著提升了模型的泛化能力与指令遵循鲁棒性。

[原文]We introduce DeepSeek-V3.2, a model that harmonizes high computational efficiency with supe- rior reasoning and agent performance. The key technical breakthroughs of DeepSeek-V3.2 are as follows: (1) DeepSeek Sparse Attention (DSA): We introduce DSA, an efficient attention mecha- nism that substantially reduces computational complexity while preserving model performance in long-context scenarios. (2) Scalable Reinforcement Learning Framework: By implementing a robust reinforcement learning protocol and scaling post-training compute, DeepSeek-V3.2 performs comparably to GPT-5. Notably, our high...

1. Introduction

推理模型（DeepSeek-AI, 2025; OpenAI, 2024a）的发布标志着大语言模型（LLM）演进的关键转折点，推动了其在可验证领域整体性能的显著跃升。自这一里程碑以来，大语言模型的能力得到了快速提升。然而，近几个月来，开源与闭源模型之间出现了明显的分化趋势。尽管开源社区（MiniMax, 2025; MoonShot, 2025; Qwen, 2025; ZhiPu-AI, 2025）仍在不断取得进展，但闭源专有模型（Anthropic, 2025b; DeepMind, 2025a; OpenAI, 2025）的性能提升速度却显著加快。因此，闭源与开源模型之间的性能差距非但没有收敛，反而呈现出扩大的趋势，专有系统在复杂任务中展现出日益卓越的能力。基于我们的分析，我们识别出限制开源模型在复杂任务中表现的三个关键缺陷。首先，在架构层面，主流模型对标准注意力机制（vanilla attention, Vaswani et al., 2017）的过度依赖严重制约了长序列处理的效率。这一效率瓶颈不仅阻碍了模型的可扩展部署，也限制了后训练（post-training）的有效性。其次，在资源分配方面，开源模型在后训练阶段的计算投入不足，制约了其在高难度任务上的性能表现。最后，在AI智能体应用场景中，相较于闭源模型，开源模型在泛化能力与指令遵循能力上存在显著差距（EvalSys, 2025; Li et al., 2025; Luo et al., 2025），这严重制约了其在实际部署中的有效性。为突破上述关键瓶颈，我们首先提出了DSA，一种旨在大幅降低计算复杂度的高效注意力机制。该架构有效突破了效率瓶颈，确保模型在长上下文场景下仍能保持优异性能。其次，我们设计了一套稳定且可扩展的强化学习（RL）协议，支持在后训练阶段进行大规模计算扩展。值得注意的是，该框架将后训练计算预算提升至预训练成本的10%以上，从而充分激发模型的进阶能力。第三，我们提出了一种新颖的训练流水线，旨在提升模型在工具调用场景下的可泛化推理能力。

[原文]The release of reasoning models (DeepSeek-AI, 2025; OpenAI, 2024a) marked a pivotal moment in the evolution of Large Language Models (LLMs), catalyzing a substantial leap in overall performance across the verifiable fields. Since this milestone, the capabilities of LLMs have advanced rapidly. However, a distinct divergence has emerged in the past months. While the open-source community (MiniMax, 2025; MoonShot, 2025; Qwen, 2025; ZhiPu-AI, 2025) continues to make strides, the performance trajectory of closed-source proprietary models (Anthropic, 2025b; DeepMind, 2025a; OpenAI, 2025) has acceler...

1. Introduction

首先，我们采用 DeepSeek-V3（DeepSeek-AI, 2024）的方法实施冷启动阶段，以在单一轨迹内统一推理与工具调用。随后，我们开展大规模智能体任务合成，生成了逾1,800个独立环境与85,000条复杂提示词。这些海量合成数据驱动了强化学习（RL）训练过程，显著提升了模型在智能体场景下的泛化能力与指令遵循能力。在多项推理基准测试中，DeepSeek-V3.2 的性能与 Kimi-k2-thinking 及 GPT-5 相当。此外，DeepSeek-V3.2 大幅提升了开源模型的智能体能力，在 EvalSys (2025)、Li 等 (2025) 及 Luo 等 (2025) 提出的长尾智能体任务中展现出卓越性能。DeepSeek-V3.2 成为智能体场景中极具成本效益的替代方案，在大幅降低开销的同时，显著缩小了开源模型与前沿闭源模型之间的性能差距。值得注意的是，为突破开源模型在推理领域的性能边界，我们放宽了上下文长度限制，进而研发了 DeepSeek-V3.2-Speciale 版本。该版本在性能上已与领先的闭源系统 Gemini-3.0-Pro（DeepMind, 2025b）持平，并在 IOI 2025、ICPC 世界总决赛 2025、IMO 2025 及 CMO 2025 等赛事中达到金牌水准。

[原文]First, we implement a cold-start phase utilizing the DeepSeek-V3 (DeepSeek-AI, 2024) methodology to unify reasoning and tool-use within single trajectories.Subsequently, we advance to large-scale agentic task synthesis, where we generate over 1,800 distinct environments and 85,000 complex prompts. This extensive synthesized data drives the RL process, significantly enhancing the model’s generalization and instruction-following capability in the agent context. DeepSeek-V3.2 achieves similar performance with Kimi-k2-thinking and GPT-5 across mul- tiple reasoning benchmarks. Furthermore, DeepSeek...

2.1. DeepSeek Sparse Attention

DeepSeek-V3.2 采用了与 DeepSeek-V3.2-Exp 完全相同的架构。与 DeepSeek-V3.1 的最终版本 DeepSeek-V3.1-Terminus 相比，DeepSeek-V3.2 唯一的架构改动是通过持续训练引入了 DeepSeek 稀疏注意力（DSA）。 DSA 原型。DSA 的原型主要由两个组件构成：闪电索引器（lightning indexer）和细粒度 Token 选择机制。给定每个查询 token h_t 的索引得分 \{I_{t,s}\}，我们的细粒度 token 选择机制仅检索与 Top-k 索引得分相对应的键值对条目 \{c_s\}。随后，通过在查询 token h_t 与稀疏选出的键值对条目 \{c_s\} 之间应用注意力机制，计算注意力输出 u_t： u_t = \text{Attn}\left(h_t, \{c_s\}_{I_{t,s} \in \text{Top-k}(I_{t,:})}\right). \quad (2)

[原文]DeepSeek-V3.2 uses exactly the same architecture as DeepSeek-V3.2-Exp. Compared with DeepSeek-V3.1-Terminus, the last version of DeepSeek-V3.1, the only architectural modification of DeepSeek-V3.2 is the introduction of DeepSeek Sparse Attention (DSA) through continued training. Prototype of DSA. The prototype of DSA primarily consists of two components: a lightning indexer and a fine-grained token selection mechanism. The lightning indexer computes the index score 𝐼𝑡,𝑠between the query token h𝑡∈R𝑑and a preceding token h𝑠∈R𝑑, determining which tokens to be selected by the query token: 𝐼𝑡,𝑠= 𝐻𝐼...

在 MLA 下实例化 DSA。出于从 DeepSeek-V3.1-Terminus 进行持续训练的考虑，我们为 DeepSeek-V3.2 基于 MLA（DeepSeek-AI, 2024）实例化了 DSA。在算子层面，出于计算效率的考虑，每个键值对条目必须在多个查询之间共享（Yuan et al., 2025）。因此，我们基于 MLA 的 MQA（Shazeer, 2019）模式实现了 DSA，其中每个潜在向量（即 MLA 的键值对条目）将在查询 token 的所有查询头之间共享。基于 MLA 的 DSA 架构如图 2 所示。我们还提供了 DeepSeek-V3.2 的开源实现，以明确无误地说明相关细节。

2.1.1. Continued Pre-Training

以上下文长度已扩展至 128K 的 DeepSeek-V3.1-Terminus 基础检查点为起点，我们执行持续预训练，随后进行后训练，从而构建出 DeepSeek-V3.2。DeepSeek-V3.2 的持续预训练包含两个训练阶段。在这两个阶段中，训练数据的分布与用于 DeepSeek-V3.1-Terminus 的 128K 长上下文扩展数据完全一致。 1我们在附录 A 中说明了 MLA 的 MQA 与 MHA 模式之间的差异。密集预热阶段。我们首先使用一个短暂的预热阶段来初始化闪电索引器。在此阶段，我们保留密集注意力机制，并冻结除闪电索引器外的所有模型参数。为了使索引器的输出与主注意力分布对齐，对于第 t 个查询 token，我们首先通过跨所有注意力头求和来聚合主注意力分数。随后，沿序列维度对该和进行 L1 归一化，以生成目标分布 p_{t,:} \in \mathbb{R}^t。基于 p_{t,:}，我们设定 KL 散度损失作为索引器的训练目标： L_I = \sum_t D_{KL}(p_{t,:} \parallel \text{Softmax}(I_{t,:})). (3) 在预热阶段，我们使用 10^{-3} 的学习率。我们仅训练索引器 1000 步，每步包含 16 条长度为 128K token 的序列，总计 21 亿（2.1B）个 token。

[原文]Starting from a base checkpoint of DeepSeek-V3.1-Terminus, whose context length has been ex- tended to 128K, we perform continued pre-training followed by post-training to create DeepSeek- V3.2. The continued pre-training of DeepSeek-V3.2 consists of two training stages. For both stages, the distribution of training data is totally aligned with the 128K long context extension data used for DeepSeek-V3.1-Terminus. 1We illustrate the difference between the MQA and MHA modes of MLA in Appendix A. 2https://huggingface.co/deepseek-ai/DeepSeek-V3.2-Exp/tree/main/inference 3 𝐤𝐤𝑡𝑡 𝐼𝐼 ··· concatenate ...

稀疏训练阶段。在索引器预热之后，我们引入细粒度的 token 选择机制，并优化所有模型参数，以使模型适应 DSA 的稀疏模式。在此阶段，我们同样保持索引器输出与主注意力分布的对齐，但仅考虑选定的 token 集合 S_t = \{s \mid I_{t,s} \in \text{Top-k}(I_{t,:})\}： L_I = \sum_t D_{KL}(p_{t,S_t} \parallel \text{Softmax}(I_{t,S_t})). (4) 值得注意的是，我们将索引器的输入从计算图中分离，以便进行独立优化。

2.1.1. Continued Pre-Training

索引器的训练信号仅来源于 L_I，而主模型的优化仅依据语言建模损失。在该稀疏训练阶段，我们采用 7.3 × 10⁻⁶ 的学习率，并为每个查询（query）token 选取 2048 个键值（key-value）token。我们对主模型与索引器共同训练了 15000 步，每步包含 480 个长度为 128K 的序列，累计处理了 9437 亿个 token。

[原文]The training signal of the indexer is from only L𝐼, while the optimization of the main model is according to only the language modeling loss.In this sparse training stage, we use a learning rate of 7.3 × 10−6, and select 2048 key-value tokens for each query token. We train both the main model and the indexer for 15000 steps, with each step consisting of 480 sequences of 128K tokens, resulting in a total of 943.7B tokens. 4

2.2. Parity Evaluation

2025年9月，我们在一系列涵盖多样化能力的基准测试上对DeepSeek-V3.2-Exp进行了评估，并将其与性能相近的DeepSeek-V3.1-Terminus进行了对比。尽管DeepSeek-V3.2-Exp在长序列处理上的计算效率显著提升，但在短上下文与长上下文任务中，我们均未观察到其性能相较于DeepSeek-V3.1-Terminus出现显著下降。人类偏好评估鉴于直接的人类偏好评估本质上易受主观偏见影响，我们采用ChatbotArena作为间接评估框架，以近似衡量用户对新开发基础模型的偏好。DeepSeek-V3.1-Terminus与DeepSeek-V3.2-Exp采用相同的后训练策略，在2025年11月10日进行的评估中，两者的Elo评分极为接近。结果表明，尽管引入了稀疏注意力机制，新基础模型的性能仍与上一代版本保持持平。长上下文评估 DeepSeek-V3.2-Exp发布后，基于此前未见的测试集开展了多项独立的长上下文评估。其中AA-LCR3是一项代表性基准测试，在推理模式下，DeepSeek-V3.2-Exp的得分较DeepSeek-V3.1-Terminus高出4分。在Fiction.liveBench评估4中，DeepSeek-V3.2-Exp在多项指标上均持续优于DeepSeek-V3.1-Terminus。上述证据表明，DeepSeek-V3.2-Exp的基础检查点在长上下文任务上并未出现性能退化。

[原文]Standard Benchmark In September 2025, we evaluate DeepSeek-V3.2-Exp on a suite of bench- marks, which focus on diverse capabilities, and compare it with DeepSeek-V3.1-Terminus showing similar performance. While DeepSeek V3.2 Exp significantly improves computational efficiency on long sequences, we do not observe substantial performance degradation compared with DeepSeek-V3.1-Terminus, on both short- and long-context tasks. Human Preference Given that direct human preference assessments are inherently suscep- tible to bias, we employ ChatbotArena as an indirect evaluation framework to approxima...

2.3. Inference Costs

DSA 将主模型的核心注意力复杂度从 O(L^2) 降低至 O(Lk)，其中 k（k ≪ L）表示被选中的 token 数量。尽管 lightning indexer 的复杂度仍为 O(L^2)，但与 DeepSeek-V3.1-Terminus 中的 MLA 相比，其所需计算量显著更低。结合我们的优化实现，DSA 在长上下文场景下实现了显著的端到端加速。图 3 展示了 DeepSeek-V3.1-Terminus 与 DeepSeek-V3.2 的 token 成本随序列中 token 位置的变化情况。上述成本基于在 H800 GPU 上部署的实际服务进行基准测试估算得出，GPU 租赁价格为每小时 2 美元。需要注意的是，针对短序列预填充（prefilling），我们专门实现了一种掩码多头注意力（Masked MHA）模式来模拟 DSA，该模式在短上下文条件下可实现更高的计算效率。

[原文]DSA reduces the core attention complexity of the main model from O� 𝐿2�to O(𝐿𝑘), where 𝑘 (≪𝐿) is the number of selected tokens. Although the lightning indexer still has a complexity of O� 𝐿2�, it requires much less computation compared with MLA in DeepSeek-V3.1-Terminus. Combined with our optimized implementation, DSA achieves a significant end-to-end speedup in long-context scenarios. Figure 3 presents how token costs of DeepSeek-V3.1-Terminus and DeepSeek-V3.2 vary with the token position in the sequence. These costs are estimated from benchmarking the actual service deployed on H800 GPUs, a...

3. Post-Training

在完成持续预训练后，我们进行后训练以构建最终的 DeepSeek-V3.2。DeepSeek-V3.2 的后训练同样采用了与稀疏持续预训练阶段相同的稀疏注意力机制。对于 DeepSeek-V3.2，我们沿用了与 DeepSeek-V3.2-Exp 相同的后训练流程，其中包括专家模型蒸馏和混合强化学习（RL）训练。专家模型蒸馏针对每项任务，我们首先开发专门用于该特定领域的专家模型，所有专家模型均基于相同的预训练 DeepSeek-V3.2 基础检查点进行微调。除写作任务和通用问答外，我们的框架还涵盖六个专业领域：数学、编程、通用逻辑推理、通用智能体任务、智能体编程和智能体搜索，且所有领域均支持思考模式与非思考模式。每个专家模型均通过大规模强化学习（RL）计算进行训练。此外，我们采用不同的模型分别生成长思维链推理（思考模式）和直接响应生成（非思考模式）的训练数据。专家模型准备就绪后，将用于生成最终检查点所需的领域特定数据。实验结果表明，在蒸馏数据上训练的模型性能仅略低于领域专家模型，且通过后续的强化学习训练可有效消除这一性能差距。

[原文]After continued pre-training, we perform post-training to create the final DeepSeek-V3.2. The post-training of DeepSeek-V3.2 also employs sparse attention in the same way as the sparse continued pre-training stage. For DeepSeek-V3.2, we maintain the same post-training pipeline as in DeepSeek-V3.2-Exp, which includes specialist distillation and mixed RL training. Specialist Distillation For each task, we initially develop a specialized model dedicated exclusively to that particular domain, with all specialist models being fine-tuned from the same 3https://artificialanalysis.ai/evaluations/artif...

3. Post-Training

针对推理与智能体任务，我们采用基于规则的结果奖励、长度惩罚以及语言一致性奖励。对于通用任务，我们采用生成式奖励模型，其中每个提示词均对应专属的评估细则。 DeepSeek-V3.2 与 DeepSeek-V3.2-Speciale DeepSeek-V3.2 融合了从专家模型蒸馏而来的推理、智能体及人类对齐数据，经过数千步的持续强化学习训练，最终得到模型检查点。为探索扩展思考的潜力，我们还开发了一个实验性变体 DeepSeek-V3.2-Speciale。该模型仅在推理数据上进行训练，且在强化学习阶段降低了长度惩罚。此外，我们引入了 DeepSeekMath-V2（Shao 等，2025）的数据集与奖励机制，以增强数学证明能力。我们将在 3.1 节重点阐述如何构建稳定的方案以扩展强化学习计算规模，并在 3.2 节探讨如何将思考能力整合至智能体任务中。

[原文]For reasoning and agent tasks, we employ rule-based outcome reward, length penalty, and language consistency reward.For general tasks, we employ a generative reward model where each prompt has its own rubrics for evaluation. DeepSeek-V3.2 and DeepSeek-V3.2-Speciale DeepSeek-V3.2 integrates reasoning, agent, and human alignment data distilled from specialists, undergoing thousands of steps of continued RL training to reach the final checkpoints. To investigate the potential of extended thinking, we also developed an experimental variant, DeepSeek-V3.2-Speciale. This model was trained exclusivel...

3.1. Scaling GRPO

我们首先回顾 GRPO 的目标函数。GRPO 通过最大化以下目标函数来优化策略模型 𝜋𝜃，该目标函数基于给定每个问题 𝑞 时从旧策略 𝜋old 中采样得到的一组回复 {𝑜1, · · · , 𝑜𝐺} 计算： JGRPO(𝜃) = E𝑞∼𝑃(𝑄),{𝑜𝑖}𝐺 𝑖=1∼𝜋old(·|𝑞)

[原文]We first review the objective of GRPO. GRPO optimizes the policy model 𝜋𝜃by maximizing the following objective on a group of responses {𝑜1, · · · , 𝑜𝐺} sampled from the old policy 𝜋old given each question 𝑞: JGRPO(𝜃) = E𝑞∼𝑃(𝑄),{𝑜𝑖}𝐺 𝑖=1∼𝜋old(·|𝑞) � 1 𝐺 𝐺 ∑︁ 𝑖=1 1 |𝑜𝑖| |𝑜𝑖| ∑︁ 𝑡=1 min � 𝑟𝑖,𝑡(𝜃) ˆ𝐴𝑖,𝑡, clip � 𝑟𝑖,𝑡(𝜃), 1 −𝜀, 1 + 𝜀�ˆ𝐴𝑖,𝑡 �−𝛽DKL � 𝜋𝜃(𝑜𝑖,𝑡) ��𝜋ref(𝑜𝑖,𝑡)� � , (5) where 𝑟𝑖,𝑡(𝜃) = 𝜋𝜃(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,

[ 1 𝐺 𝐺 ∑ 𝑖=1 1 |𝑜𝑖| |𝑜𝑖| ∑ 𝑡=1 min ( 𝑟𝑖,𝑡(𝜃) ˆ𝐴𝑖,𝑡, clip ( 𝑟𝑖,𝑡(𝜃), 1 −𝜀, 1 + 𝜀)ˆ𝐴𝑖,𝑡 )−𝛽DKL ( 𝜋𝜃(𝑜𝑖,𝑡) ‖𝜋ref(𝑜𝑖,𝑡) ) ] , (5) 其中 𝑟𝑖,𝑡(𝜃) = 𝜋𝜃(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) 𝜋old(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) (6) 是当前策略与旧策略之间的重要性采样比率。𝜀 和 𝛽 分别为控制裁剪范围和 KL 惩罚强度的超参数。ˆ𝐴𝑖,𝑡 是 𝑜𝑖,𝑡 的优势值，通过对每组内的结果奖励进行归一化来估计。具体而言，使用一组奖励模型对组内每个输出 𝑜𝑖 的结果奖励 𝑅𝑖 进行打分，从而分别得到 𝐺 个奖励 𝑹= {𝑅1, · · · , 𝑅𝐺}。𝑜𝑖,𝑡 的优势值通过从输出 𝑜𝑖 的奖励中减去该组的平均奖励来计算，即 ˆ𝐴𝑖,𝑡= 𝑅𝑖−mean(𝑹)。接下来，我们概述直接在 GRPO 算法基础上构建的、用于稳定强化学习扩展的额外策略。无偏 KL 估计鉴于 𝑜𝑖,𝑡 是从旧策略 𝜋old(·|𝑞, 𝑜𝑖,<𝑡) 中采样的，我们利用当前策略 𝜋𝜃 与旧策略 𝜋old 之间的重要性采样比率对 K3 估计器（Schulman, 2020）进行修正，以获得无偏的 KL 估计： DKL ( 𝜋𝜃(𝑜𝑖,𝑡) ‖𝜋ref(𝑜𝑖,𝑡) )= 𝜋𝜃(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) 𝜋old(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) (𝜋ref(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) 𝜋𝜃(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) −log 𝜋ref(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) 𝜋𝜃(𝑜𝑖,𝑡|𝑞, 𝑜𝑖,<𝑡) −1 ) . (7) 作为这一调整的直接结果，该 KL 估计器的梯度变得无偏，从而消除了系统性估计误差，有助于实现稳定收敛。这与原始的 K3 估计器形成鲜明对比，尤其是在采样 token 在当前策略下的概率远低于参考策略（即 𝜋𝜃≪𝜋ref）的情况下。在这种情况下，K3 估计器的梯度会为最大化这些 token 的似然分配不成比例且无界的大权重，导致噪声梯度更新不断累积，进而降低后续迭代中的样本质量，并引发不稳定的训练动态。在实践中，我们发现不同领域受益于不同强度的 KL 正则化。对于某些领域（如数学），应用相对较弱的 KL 惩罚甚至完全省略它，都能带来性能的提升。

3.1. Scaling GRPO

离策略序列掩码为提升强化学习系统的效率，我们通常生成大批量的 rollout 数据，随后将其划分为多个小批量（mini-batch），用于执行多次梯度更新步骤。这种做法本质上引入了离策略行为。此外，用于高效数据生成的推理框架通常经过高度优化，其实现细节可能与训练框架存在差异。这种训练与推理的不一致性进一步加剧了离策略程度。为了稳定训练并提高对离策略更新的容忍度，我们掩码那些引入显著策略分歧的负向序列，该分歧通过数据采样策略 \pi_{\text{old}} 与当前策略 \pi_\theta 之间的 KL 散度来衡量。更具体地说，我们在 GRPO 损失中引入一个二值掩码 M： \mathcal{J}_{\text{GRPO}}(\theta) = \mathbb{E}_{q \sim P(Q), \{o_i\}_{i=1}^G \sim \pi_{\text{old}}(\cdot|q)} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|o_i|} \sum_{t=1}^{|o_i|} \min \left( r_{i,t}(\theta) \hat{A}_{i,t}, \text{clip}(r_{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) M_{i,t} - \beta D_{\text{KL}} \left( \pi_\theta(o_{i,t}) \| \pi_{\text{ref}}(o_{i,t}) \right) \right], \quad (8) 其中， M_{i,t} = \begin{cases} 0, & \hat{A}_{i,t} \delta \\ 1, & \text{其他情况} \end{cases} \quad (9) 且 \delta 为控制策略分歧阈值的超参数。需要注意的是，此处的 \pi_{\text{old}} 表示推理框架直接返回的采样概率，因此旧策略与当前策略之间的 KL 散度涵盖了上述两种离策略来源。同样值得注意的是，我们仅对具有负优势值的序列进行掩码。直观而言，模型从自身错误中学习获益最大，而高度离策略的负样本可能产生不利影响，甚至误导或破坏优化过程的稳定性。经验表明，该离策略序列掩码操作在某些原本会出现不稳定的训练场景中提升了稳定性。保持路由混合专家（Mixture-of-Experts, MoE）模型通过在推理过程中仅激活部分专家模块来提升计算效率。然而，推理与训练框架之间的差异，叠加策略更新的影响，可能导致即使对于相同输入，推理与训练阶段的专家路由也不一致。这种不一致性会导致激活参数子空间发生突变，从而破坏优化稳定性并加剧离策略问题。

[原文]Off-Policy Sequence Masking To improve the efficiency of RL systems, we typically generate a large batch of rollout data, which is subsequently split into multiple mini-batches for several gradient update steps.This practice inherently introduces off-policy behavior. Additionally, inference frameworks used for efficient data generation are often highly optimized, which may differ in implementation details from training frameworks. Such training-inference inconsistency 7 further exacerbates the degree of off-policyness. To stabilize training and improve tolerance for off-policy updates, we mas...

3.1. Scaling GRPO

为缓解这一问题，我们在推理框架中保留采样时使用的专家路由路径，并在训练期间强制使用相同的路由路径，以确保优化相同的专家参数。我们发现这种“保持路由（Keep Routing）”操作对 MoE 模型的强化学习训练稳定性至关重要，自 DeepSeek-V3-0324 起，该操作已被纳入我们的强化学习训练流程中。保持采样掩码（Keep Sampling Mask） Top-p 和 Top-k 采样是广泛用于提升大语言模型（LLM）生成响应质量的采样策略。在强化学习训练中采用这些策略同样具有优势，因为它能避免采样到概率极低的 token 并将其作为优化目标。尽管此类截断操作保留了样本质量，但它会在 𝜋old 与 𝜋𝜃 的动作空间之间引入不匹配，从而违反重要性采样的原则并导致训练不稳定。为解决这一问题，我们在从 𝜋old 采样时保留截断掩码，并在训练期间将其应用于 𝜋𝜃，以确保两种策略共享相同的动作子空间。经验表明，将 Top-p 采样与“保持采样掩码”策略相结合，能有效在强化学习训练期间保持语言的一致性。

[原文]To mitigate this, we preserve the expert routing paths used during sampling in the inference framework and enforce the same routing paths during training, ensuring that identical expert parameters are optimized.This Keep Routing operation was found crucial for RL training stability of MoE models, and has been adopted in our RL training pipeline since DeepSeek-V3-0324. Keep Sampling Mask Top-p and top-k sampling are widely used sampling strategies to enhance the quality of responses generated by LLMs. Employing these strategies in RL training is also advantageous, as it avoids sampling extremel...

3.2.1. Thinking Context Management

DeepSeek-R1 已证明，引入思考过程能够显著提升模型解决复杂问题的能力。基于这一认识，我们旨在将思考能力整合至工具调用场景中。我们观察到，直接沿用 DeepSeek-R1 的策略（即在收到第二轮消息时丢弃推理内容）会导致严重的 Token 效率低下问题。该方法迫使模型在每次后续工具调用时，对整个问题进行冗余的重新推理。为缓解这一问题，我们开发了一套专为工具调用场景定制的上下文管理机制，如图 4 所示： • 仅当对话中引入新的用户消息时，才会丢弃历史推理内容。若仅追加与工具相关的消息（如工具输出），推理内容将在整个交互过程中予以保留。 • 当移除推理轨迹时，工具调用历史及其结果仍会保留在上下文中。值得注意的是，某些智能体框架（如 Roo Code 或 Terminus）通过用户消息来模拟工具交互。由于上述上下文管理规则，这些框架可能无法充分受益于我们增强的推理保留机制。因此，我们建议在使用此类架构时采用非思考模型，以实现最佳性能。

[原文]DeepSeek-R1 has demonstrated that incorporating a thinking process can significantly enhance a model’s ability to solve complex problems. Building on this insight, we aim to integrate thinking capabilities into tool-calling scenarios. We observed that replicating DeepSeek-R1’s strategy—discarding reasoning content upon the arrival of the second round of messages—results in significant token inefficiency. This approach forces the model to redundantly re-reason through the entire problem for each subsequent tool call. To mitigate this, we developed a context management strictly tailored for tool...

3.2.2. Cold-Start

to label the reasoning path. - *Draft:* 表6展示了我们推理数据的一个示例，它使用系统提示明确要求模型在最终答案之前进行推理，并使用特殊标签标记推理路径。 - *Refinement:* 表6展示了我们推理数据的示例，其系统提示明确要求模型在输出最终答案前进行推理，并使用特殊标签对推理路径进行标注。 - *Sentence 7:* Table 7 shows the prompt of non-reasoning agentic data, where the system prompt contains the guidance of toolcall. - *Draft:* 表7展示了非推理智能体数据的提示，其中系统提示包含工具调用的指导。 - *Refinement:* 表7展示了非推理智能体数据的提示，其系统提示中包含了工具调用（toolcall）的相关指引。 - *Sentence 8:* Table 8 presents the system prompt we designed to instruct the model to incorporate multiple tool calls within its reasoning process. - *Draft:* 表8展示了我们设计的系统提示，用于指示模型在其推理过程中整合多个工具调用。 - *Refinement:* 表8展示了我们设计的系统提示，旨在指导模型在推理过程中集成多次工具调用。 - *Sentence 9:* In this manner, although the reasoning in tool-use patterns may lack robustness, the model is occasionally able to generate the desired trajectories, thereby providing a basis for subsequent reinforcement learning stages. - *Draft:* 通过这种方式，尽管工具使用模式中的推理可能缺乏鲁棒性，但模型偶尔能够生成期望的轨迹，从而为后续的强化学习阶段提供基础。 - *Refinement:* 借此方式，尽管模型在工具使用模式下的推理可能尚欠鲁棒性，但其仍能偶尔生成符合预期的轨迹，从而为后续的强化学习阶段奠定基础。

[原文]Given the availability of reasoning data (non-agentic) and non-reasoning agentic data, a straight- forward strategy for integrating these two capabilities is through carefully designed prompting. We posit that the model possesses sufficient ability to accurately follow explicit instructions, thereby enabling the seamless incorporation of tool execution within the reasoning process. 9 To demonstrate the operation of the cold-start mechanism, we selectively sample the training data as shown in Appendix Tables 6–8. It is important to note that distinct task prompts are associated with different ...

*Content:* 鉴于推理数据（非智能体）与非推理智能体数据均已可用，整合这两种能力的一种直接策略是采用精心设计的提示（prompting）。我们假设模型具备充分的能力以准确遵循显式指令，从而实现在推理过程中无缝集成工具调用。为展示冷启动机制的运行方式，我们对照附录表6–8对训练数据进行了选择性采样。需注意的是，不同的任务提示对应不同的系统提示。表6–8展示了一个针对算法竞赛编程任务的提示示例。表6展示了我们推理数据的示例，其系统提示明确要求模型在输出最终答案前进行推理，并使用特殊标签对推理路径进行标注。表7展示了非推理智能体数据的提示，其系统提示中包含了工具调用（toolcall）的相关指引。表8展示了我们设计的系统提示，旨在指导模型在推理过程中集成多次工具调用。借此方式，尽管模型在工具使用模式下的推理可能尚欠鲁棒性，但其仍能偶尔生成符合预期的轨迹，从而为后续的强化学习阶段奠定基础。

*Self-Correction/Verification during synthesis:* - "non-agentic" -> 非智能体 (standard in AI context) - "non-reasoning agentic data" -> 非推理智能体数据 (accurate) - "prompting" -> 提示工程/提示设计 (I'll use 提示设计 or 提示词设计, but "精心设计的提示" is fine. Let's stick to 提示设计/prompting) - "tool execution" -> 工具执行/工具调用 (tool execution is fine as 工具执行) - "competitive programming prompt" -> 算法竞赛编程提示/任务提示 (算法竞赛编程任务提示 is better) - "toolcall" -> 工具调用 - "trajectories" -> 轨迹 (standard in RL/agent context) - Check formatting: The original has a line break after "straight-" and "correspond-". I will ignore those hyphenation artifacts. - The number "9" appears randomly in the text. It's likely a page number or footnote marker from the PDF. I will omit it as it's not part of the content. - Let's refine the translation to ensure maximum academic precision: “鉴于推理数据（非智能体）与非推理智能体数据均已可用，整合这两种能力的一种直接策略是采用精心设计的提示（prompting）。我们认为模型具备充分的能力以准确遵循显式指令，从而实现在推理过程中无缝集成工具执行。为展示冷启动机制的运行方式，我们对照附录表6–8对训练数据进行了选择性采样。需注意的是，不同的任务提示对应不同的系统提示。表6–8展示了一个针对算法竞赛编程任务的提示示例。表6展示了我们推理数据的示例，其系统提示明确要求模型在输出最终答案前进行推理，并使用特殊标签对推理路径进行标注。表7展示了非推理智能体数据的提示，其系统提示中包含了工具调用（toolcall）的相关指引。表8展示了我们设计的系统提示，旨在指导模型在推理过程中集成多次工具调用。借此方式，尽管模型在工具使用模式下的推理可能尚欠鲁棒性，但其仍能偶尔生成符合预期的轨迹，从而为后续的强化学习阶段奠定基础。”

*Self-Correction/Note during thought*: I should make sure the formatting matches the original structure (Title + Content). I will present it clearly. “3.2.2. 冷启动鉴于推理数据（非智能体）与非推理智能体数据均已可用，整合这两种能力的一种直接策略是采用精心设计的提示（prompting）。我们认为模型具备充分的能力以准确遵循显式指令，从而实现在推理过程中无缝集成工具执行。为展示冷启动机制的运行方式，我们对照附录表6–8对训练数据进行了选择性采样。需注意的是，不同的任务提示对应不同的系统提示。表6–8展示了一个针对算法竞赛编程任务的提示示例。表6展示了我们推理数据的示例，其系统提示明确要求模型在输出最终答案前进行推理，并使用特殊标签对推理路径进行标注。表7展示了非推理智能体数据的提示，其系统提示中包含了工具调用（toolcall）的相关指引。表8展示了我们设计的系统提示，旨在指导模型在推理过程中集成多次工具调用。借此方式，尽管模型在工具使用模式下的推理可能尚欠鲁棒性，但其仍能偶尔生成符合预期的轨迹，从而为后续的强化学习阶段奠定基础。” Matches perfectly. No extra text. Ready. Output matches response. 鉴于推理数据（非智能体）与非推理智能体数据均已可用，整合这两种能力的一种直接策略是采用精心设计的提示（prompting）。我们认为模型具备充分的能力以准确遵循显式指令，从而实现在推理过程中无缝集成工具执行。为展示冷启动机制的运行方式，我们对照附录表6–8对训练数据进行了选择性采样。需注意的是，不同的任务提示对应不同的系统提示。表6–8展示了一个针对算法竞赛编程任务的提示示例。表6展示了我们推理数据的示例，其系统提示明确要求模型在输出最终答案前进行推理，并使用特殊标签对推理路径进行标注。表7展示了非推理智能体数据的提示，其系统提示中包含了工具调用（toolcall）的相关指引。表8展示了我们设计的系统提示，旨在指导模型在推理过程中集成多次工具调用。借此方式，尽管模型在工具使用模式下的推理可能尚欠鲁棒性，但其仍能偶尔生成符合预期的轨迹，从而为后续的强化学习阶段奠定基础。

3.2.3. Large-Scale Agentic Tasks

多样化的强化学习任务对于提升模型鲁棒性至关重要。针对搜索、代码工程和代码解释等任务，我们采用了真实世界的工具，包括实际的网络搜索API、编程工具以及Jupyter Notebook。尽管这些强化学习环境是真实的，但所使用的提示词均提取自互联网来源或经合成生成，而非来自真实用户交互。对于其他任务，环境和提示词均为合成构建。我们使用的智能体任务详见表1。搜索智能体我们采用基于DeepSeek-V3.2的多智能体流水线来生成多样化的高质量训练数据。首先，我们从大规模网络语料库中跨多个领域采样具有信息量的长尾实体。随后，问题构建智能体利用具有可配置深度和广度参数的搜索工具对每个实体进行探索，并将发现的信息整合为问答对。多个具有异构配置（如不同检查点、系统提示词等）的答案生成智能体为每个提出的问答对生成多样化的候选回复。具备搜索能力的验证智能体通过多轮验证对所有答案进行校验，仅保留标准答案正确且所有候选答案均可验证为错误的样本。这些数据涵盖多种语言、领域和难度级别。为了补充这些可验证样本并更好地反映真实世界的使用场景，我们还从现有的有益性强化学习数据集中筛选实例进行数据增强，在这些实例中搜索工具能提供可衡量的收益。随后，我们制定了涵盖多个质量维度的详细评估标准，并采用生成式奖励模型依据这些标准对回复进行打分。这种混合方法使得模型能够同时优化事实可靠性与实际有益性。

[原文]A diverse set of RL tasks is crucial for enhancing model robustness. For tasks such as search, code engineering, and code interpretation, we employ real-world tools, including actual web search APIs, coding tools, and Jupyter Notebooks. While these RL environments are real, the prompts employed are either extracted from Internet sources or synthetically generated, rather than obtained from actual user interactions. For other tasks, the environment and prompts are both synthetically constructed. The agent tasks we used are described in Table 1. Table 1 | The description of different agent tasks...

代码智能体我们通过从GitHub挖掘数百万个Issue-PR（问题-拉取请求）对，构建了用于软件问题修复的大规模可执行环境。

3.2.3. Large-Scale Agentic Tasks

为确保数据质量，该数据集通过启发式规则与基于大语言模型的评估进行了严格筛选，要求每个条目均包含合理的问题描述、对应的标准补丁（gold patch）以及用于验证的测试补丁。我们采用由 DeepSeek-V3.2 驱动的自动化环境配置智能体，为这些数据对构建可执行环境。该智能体负责处理软件包安装、依赖解析及测试执行。测试结果以标准 JUnit 格式输出，从而确保在不同编程语言和测试框架下解析的一致性。仅当应用标准补丁后，出现非零数量的“失败转通过”（False-to-Positive, F2P）测试用例（表明问题已修复），且“通过转失败”（Pass-to-Fail, P2F）测试用例数量为零（表明未引入回归问题）时，才判定该环境构建成功。借助该流水线，我们成功构建了数万个可复现的问题修复环境，涵盖 Python、Java、JavaScript、TypeScript、C、C++、Go 和 PHP 等多种编程语言。代码解释器智能体我们利用 Jupyter Notebook 作为代码解释器，以应对复杂的推理任务。为此，我们精心构建了一个涵盖数学、逻辑与数据科学等领域的多样化问题集，要求模型必须借助代码执行能力方可得出解答。通用智能体为在强化学习（RL）中扩展智能体环境与任务规模，我们采用了一种自动化环境合成智能体，共合成了 1,827 个面向特定任务的环境。这些任务具有“求解困难但易于验证”的特性。该合成工作流主要包含环境与工具集构建、任务合成以及解法生成三个阶段。具体而言，该工作流的执行流程如下。

[原文]This dataset was rigorously filtered using heuristic rules and LLM-based judgments to ensure high quality, requiring that each entry contain a reasonable issue description, a correlated gold patch, and a test patch for validation.An automated environment-setup agent, powered by DeepSeek-V3.2, was employed to build executable environments for these pairs. This agent handles package installation, de- pendency resolution, and test execution. Test results are output in the standard JUnit format, ensuring consistent parsing across programming languages and test frameworks. An environ- ment is deeme...

3. To create tasks that are both challenging and automatically verifiable, the agent initially

11 合成任务示例：行程规划我正在规划一次从杭州出发的三天旅行，需要协助制定 2025 年 10 月 1 日至 10 月 3 日的行程安排。有几个重要要求：在整个行程中，我不想重复前往任何城市、入住任何酒店、游览任何景点或光顾任何餐厅。此外，请确保您推荐的每家酒店、餐厅和景点均实际位于我当天住宿的城市。关于第二天还有一点——我打算合理规划预算。若我最终预订了每晚 800 元人民币及以上的豪华酒店，则需在其他开支上更加谨慎：我在两家餐厅（午餐与晚餐）的总花费应控制在 350 元人民币以内，两家餐厅评分均需至少 4.0 星，且下午的景点门票价格需低于 120 元人民币。

[原文]proposes a simple task based on the current database, along with its solution and verifica- tion functions implemented in Python. The solution function is restricted to invoking tool functions or performing logical computations, and cannot call other functions or directly access the database, ensuring the task can only be solved through the tool interface. Addi- tionally, the results produced by the solution function must be validated by the verification function. If the solution is not validated, the agent will modify the solution or verification functions until the solution’s output passes t...

3. To create tasks that are both challenging and automatically verifiable, the agent initially

若第 2 天的酒店属于中高档（500–800 元），则我稍有余地——只需确保至少一家餐厅评分在 4.0 及以上，且景点门票低于 180 元。对于更经济的酒店（200–500 元区间），我只需确保至少一家餐厅评分在 3.2 及以上。你能帮我制定这份行程吗？提交结果格式

[原文]If the hotel on day 2 is in the mid-to-high range (500-800 CNY), then I have a bit more flexibility - I just need to make sure at least one of my restaurant choices is rated 4.0 or higher, and the attraction ticket should be below 180 CNY.For more affordable hotels (200-500 CNY range), I only need to ensure that at least one restaurant has a rating of 3.2 or above. Can you help me put together this itinerary? Submit Result Format [ { "time": "2025-10-01", "city": "cite_name", "hotel": "hotel_name", "afternoon_restaurant": "restau- rant_name", "afternoon_attraction": "attraction_name", "evening...

[ { "time": "2025-10-01", "city": "cite_name", "hotel": "hotel_name", "afternoon_restaurant": "restau- rant_name", "afternoon_attraction": "attraction_name", "evening……

4.1. Main Results

我们在 MMLU-Pro（Wang et al., 2024）、GPQA Diamond（Rein et al., 2023）、Human Last Exam（HLE）Text-only（Phan et al., 2025）、LiveCodeBench（2024.08–2025.04）、Code- 12

[原文]We evaluate models on MMLU-Pro (Wang et al., 2024), GPQA Diamond (Rein et al., 2023), Human Last Exam (HLE) Text-only (Phan et al., 2025), LiveCodeBench (2024.08-2025.04), Code- 12 forces, Aider-Polyglot, AIME 2025, HMMT Feb 2025, HMMT Nov 2025 (Balunovi´c et al., 2025), IMOAnswerBench (Luong et al., 2025), Terminal Bench 2.0, SWE-Verified (OpenAI, 2024b), SWE Multilingual (Yang et al., 2025), BrowseComp (Wei et al., 2025), BrowseCompZh (Zhou et al., 2025), 𝜏2-bench (Barres et al., 2025), MCP-Universe (Luo et al., 2025), MCP-Mark (EvalSys, 2025), and Tool-Decathlon (Li et al., 2025). Tool-use...

forces、Aider-Polyglot、AIME 2025、HMMT Feb 2025、HMMT Nov 2025（Balunović et al., 2025）、IMOAnswerBench（Luong et al., 2025）、Terminal Bench 2.0、SWE-Verified（OpenAI, 2024b）、SWE Multilingual（Yang et al., 2025）、BrowseComp（Wei et al., 2025）、BrowseCompZh（Zhou et al., 2025）、τ²-bench（Barres et al., 2025）、MCP-Universe（Luo et al., 2025）、MCP-Mark（EvalSys, 2025）以及 Tool-Decathlon（Li et al., 2025）等基准上评估模型。Tool-use……

4.1. Main Results

DeepSeek-V3.2 在推理任务上的表现与 GPT-5-High 相当，但略逊于 Gemini-3.0-Pro。与 K2-Thinking 相比，DeepSeek-V3.2 在输出 token 数量大幅减少的情况下仍取得了相当的成绩，如表 3 所示。这些性能提升可归因于分配给强化学习（RL）训练的计算资源增加。近几个月来，我们观察到性能提升与扩展的 RL 训练预算呈正相关，该预算目前已超过预训练成本的 10%。我们假设，若进一步增加计算预算分配，推理能力有望得到进一步提升。值得注意的是，本文报告的 DeepSeek-V3.2 性能受限于长度约束奖励模型；在解除该限制后，我们观察到模型性能进一步提升，详见第 4.2 节。在代码智能体评估中，DeepSeek-V3.2 在 SWE-bench Verified 和 Terminal Bench 2.0 上均显著优于开源大语言模型，展现了其在真实编程工作流中的应用潜力。关于 Terminal Bench 2.0，如前所述，我们针对“思考模式”的上下文管理策略目前与 Terminus 不兼容；因此，报告的 46.4 分是使用 Claude Code 框架测得的。

[原文]Benchmark (Metric) Claude-4.5- GPT-5 Gemini-3.0 Kimi-K2 MiniMax DeepSeek-V3.2 Sonnet High Pro Thinking M2 Thinking English MMLU-Pro (EM) 88.2 87.5 90.1 84.6 82.0 85.0 GPQA Diamond (Pass@1) 83.4 85.7 91.9 84.5 77.7 82.4 HLE (Pass@1) 13.7 26.3 37.7 23.9 12.5 25.1 Code LiveCodeBench (Pass@1-COT) 64.0 84.5 90.7 82.6 83.0 83.3 Codeforces (Rating) 1480 2537 2708 - - 2386 Math AIME 2025 (Pass@1) 87.0 94.6 95.0 94.5 78.3 93.1 HMMT Feb 2025 (Pass@1) 79.2 88.3 97.5 89.4 - 92.5 HMMT Nov 2025 (Pass@1) 81.7 89.2 93.3 89.2 - 90.2 IMOAnswerBench (Pass@1) - 76.0 83.3 78.6 - 78.3 Code Agent Terminal Bench 2.0 ...

4.1. Main Results

我们还评估了 DeepSeek-V3.2 在非思考模式下与 Terminus 结合的表现，得分为 39.3。在 SWE-bench Verified 基准上，主要得分系通过我们的内部框架测得。在其他设置下进行的鲁棒性测试（涵盖 Claude Code 与 RooCode 框架，以及非思考模式）均得出了一致结果，得分介于 72 至 74 之间。在搜索智能体评估中，我们采用标准商业搜索 API 对模型进行测试。由于 DeepSeek-V3.2 的最大上下文长度仅为 128K，超过 20% 的测试用例超出了该限制。为此，我们采用上下文管理方法以计算最终得分。作为参考，若不采用上下文管理，得分为 51.4。更多细节详见第 4.4 节。在工具使用基准测试中，DeepSeek-V3.2 大幅缩小了开源与闭源大语言模型（LLM）之间的性能差距，尽管其表现仍略逊于前沿模型。在 𝜏2-bench 基准上，我们将模型本身作为用户智能体，最终在航空、零售和电信类别中分别取得 63.8、81.1 和 96.2 的得分。在 MCP 基准测试中，我们采用函数调用格式，并将工具输出置于角色标记为“tool”的消息中，而非“user”角色。测试过程中，我们观察到 DeepSeek-V3.2 频繁进行冗余的自我验证，导致生成过长的交互轨迹。这一倾向常导致上下文长度超出 128K 的限制，尤其在 MCP-Mark GitHub 和 Playwright 评估等任务中表现明显。因此，该现象在一定程度上制约了 DeepSeek-V3.2 的最终表现。然而，引入上下文管理策略可进一步提升其性能。我们将此列为未来的研究方向，同时也为实际用户提供了重要的参考建议。尽管存在上述问题，DeepSeek-V3.2 的表现仍显著优于现有的开源模型。值得注意的是，由于这些基准测试所采用的环境与工具集均未在强化学习（RL）训练阶段出现过，上述性能提升充分证明了 DeepSeek-V3.2 能够将其推理策略有效泛化至域外智能体场景。智能体场景下非思考模式模型的评估结果详见附录表 9。

[原文]We also evaluated DeepSeek-V3.2 with Terminus in non-thinking mode, yielding a score of 39.3.For SWE-bench Verified, the primary score was obtained using our internal framework. Robustness tests across other settings—including the Claude Code and RooCode frameworks, as well as non-thinking mode—produced consistent results, ranging from 72 to 74. For the search agent evaluation, we assess our models using a standard commercial search API. Since DeepSeek-V3.2 supports a maximum context length of only 128K, approximately 20%+ of the test cases exceed this limit. To address this, we employ a conte...

4.2. Results of DeepSeek-V3.2-Speciale

表 3 表明，DeepSeek-V3.2-Speciale 通过利用更多推理 token 实现了更优性能，在多个基准上超越最优的 Gemini-3.0-Pro。值得注意的是，如表 4 所示，该通用模型在未进行针对性训练的情况下，在 2025 年国际信息学奥林匹克（IOI）和 ICPC 世界总决赛（ICPC WF）中达到金牌水平。此外，通过融入 Shao et al.（2025）的技术，该模型在复杂证明任务中表现卓越，在 2025 年国际数学奥林匹克（IMO）中达到金牌阈值……

4.3. Synthesis Agentic Tasks

在本节中，我们进行消融实验以研究合成智能体任务的影响。我们重点关注两个问题。首先，合成任务对强化学习是否具有足够的挑战性？其次，这些合成任务的泛化能力如何，即它们能否迁移至不同的下游任务或真实环境中？为回答第一个问题，我们从通用合成智能体任务中随机抽取50个实例，并对用于合成的模型以及前沿闭源大语言模型进行评估。如表5所示，DeepSeek-V3.2-Exp的准确率仅为12%，而前沿闭源模型的最高准确率为62%。这些结果表明，合成数据包含了对于DeepSeek-V3.2-Exp和前沿闭源模型均具有挑战性的智能体任务。为探究在合成数据上进行强化学习能否泛化至不同任务或真实环境，我们将强化学习应用于DeepSeek-V3.2的监督微调（SFT）检查点（记为DeepSeek-V3.2-SFT）。为排除长思维链（CoT）及其他强化学习数据的影响，我们仅在非思考模式下对合成智能体任务进行强化学习。随后，我们将该模型与DeepSeek-V3.2-SFT和DeepSeek-V3.2-Exp进行比较，其中DeepSeek-V3.2-Exp仅在搜索和代码环境中使用强化学习进行训练。如图5所示，在合成数据上进行大规模强化学习在Tau2Bench、MCP-Mark和MCP-Universe基准测试上相较于DeepSeek-V3.2-SFT取得了显著提升。相比之下，将强化学习限制在代码和搜索场景中并未提升这些基准测试上的性能，这进一步凸显了合成数据的潜力。

[原文]In this section, we perform ablation experiments to study the effect of synthetic agentic tasks. We focus on two questions. First, are synthetic tasks sufficiently challenging for reinforcement learning? Second, how well do these synthetic tasks generalize, i.e., can they transfer to different downstream tasks or real-world environments? To address the first question, we randomly sample 50 instances from the general synthesized agentic tasks and evaluate both the model used for synthesis and frontier closed-source LLMs. As shown in Table 5, DeepSeek-V3.2-Exp attains an accuracy of only 12%, wh...

4.4. Context Management of Search Agent

即使采用128k等扩展上下文窗口，智能体工作流（尤其是在基于搜索的场景中）仍经常遭遇最大长度限制，导致推理过程被提前截断。这一瓶颈阻碍了测试时计算潜力的充分发挥。为解决该问题，我们引入了上下文管理机制：当Token使用量超过上下文窗口长度的80%时，采用简单策略在测试时扩展Token预算。这些策略包括：（1）摘要（Summary），对溢出的轨迹进行总结并重新展开生成过程；（2）丢弃75%（Discard-75%），丢弃轨迹中前75%的工具调用历史以释放空间；（3）全部丢弃（Discard-all），通过丢弃所有先前的工具调用历史来重置上下文（类似于新的上下文工具（Anthropic, 2025a））。作为对比，我们还实现了一个并行扩展基线方法 Parallel-fewest-step，该方法采样 N 条独立轨迹，并选择步数最少的轨迹。我们在 BrowseComp 基准测试（Wei et al., 2025）上评估了这些策略。如图6所示，在不同的计算预算下，上下文管理通过允许模型扩展测试时计算，为执行额外步骤提供了更多空间，从而带来了显著的性能提升。例如，Summary 策略将平均步数扩展至364步，性能得分提升至60.2。然而，其整体效率相对较低。尽管 Discard-all 策略较为简单，但其在效率和可扩展性方面均表现良好，得分达到67.6，在步数显著减少的情况下，性能与并行扩展相当。综上所述，测试时计算既可以通过上下文管理进行串行扩展，也可以进行并行扩展，两者均能有效提升模型的问题解决能力。然而，不同策略在效率和可扩展性方面表现出差异。因此，在基准测试模型性能时，充分考虑实际计算成本至关重要。同时，寻找串行与并行扩展的最佳组合以最大化效率和可扩展性，仍是未来工作的重要方向。

[原文]Even with extended context windows such as 128k, agentic workflows, particularly in search- based scenarios, frequently encounter maximum length limitations that prematurely truncate the reasoning process. This bottleneck inhibits the full realization of test-time compute potential. To address this, we introduce context management employing simple strategies to extend token budgets at test time，when the token usage exceeds 80% of the context window length. These strategies include (1) Summary, which summarizes the overflowed trajectory and re-initiates the rollout; (2) Discard-75%, which disca...

5. Conclusion, Limitation, and Future Work

在本工作中，我们提出了 DeepSeek-V3.2，该框架有效弥合了计算效率与高级推理能力之间的差距。借助 DSA，我们在不牺牲长上下文性能的前提下，解决了关键的计算复杂度问题。通过增加计算预算，DeepSeek-V3.2 在推理基准测试中取得了与 GPT-5 相当的性能。此外，我们集成的大规模智能体任务合成流水线显著提升了工具使用能力，为基于开源大语言模型构建鲁棒且具备强泛化能力的 AI 智能体开辟了新的可能性。同时，我们的高计算量变体 DeepSeek-V3.2-Speciale 凭借在国际数学奥林匹克（IMO）和国际信息学奥林匹克（IOI）中斩获金牌的优异成绩，为开源大语言模型树立了新的里程碑。尽管取得了上述进展，但与 Gemini-3.0-Pro 等前沿闭源模型相比，我们仍承认模型存在一定局限性。首先，受限于总训练浮点运算量（FLOPs）较少，DeepSeek-V3.2 的世界知识广度仍落后于领先的专有模型。我们计划在未来的迭代中通过扩大预训练计算规模来弥补这一知识差距。其次，Token 效率仍面临挑战；DeepSeek-V3.2 通常需要更长的生成轨迹（即消耗更多 Token）才能达到 Gemini-3.0-Pro 等模型的输出质量。未来的工作将聚焦于优化模型推理链的智能密度，从而提升整体效率。第三，在复杂任务求解能力上仍不及前沿模型，这将促使我们进一步打磨基础模型与后训练策略。

[原文]In this work, we introduced DeepSeek-V3.2, a framework that effectively bridges the gap be- tween computational efficiency and advanced reasoning capabilities. Using DSA, we addressed critical computation complexity without sacrificing long-context performance. By increasing computational budget, DeepSeek-V3.2 achieves comparable performance with GPT-5 on rea- soning benchmarks. Finally, the integration of our large-scale agentic task synthesis pipeline significantly enhances tool-use proficiency, unlocking new possibilities for robust and generaliz- able AI agents with open LLM. Furthermore, ...

References

Anthropic. System card: Claude opus 4.5, 2025a. URL https://assets.anthropic.com/m /64823ba7485345a7/Claude-Opus-4-5-System-Card.pdf. Anthropic. Introducing claude sonnet 4.5, 2025b. URL https://www.anthropic.com/news /claude-sonnet-4-5l. M. Balunović, J. Dekoninck, I. Petrov, N. Jovanović, and M. Vechev. Matharena: Evaluating llms on uncontaminated math competitions. Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmark, 2025. V. Barres, H. Dong, S. Ray, X. Si, and K. Narasimhan. τ²-bench: Evaluating conversational agents in a dual-control environment, 202……

[原文]Anthropic. System card: Claude opus 4.5, 2025a. URL https://assets.anthropic.com/m /64823ba7485345a7/Claude-Opus-4-5-System-Card.pdf. Anthropic. Introducing claude sonnet 4.5, 2025b. URL https://www.anthropic.com/news /claude-sonnet-4-5l. M. Balunovi´c, J. Dekoninck, I. Petrov, N. Jovanovi´c, and M. Vechev. Matharena: Evaluating llms on uncontaminated math competitions. Proceedings of the Neural Information Processing Systems Track on Datasets and Benchmark, 2025. V. Barres, H. Dong, S. Ray, X. Si, and K. Narasimhan. 𝜏2-bench: Evaluating conversational agents in a dual-control environment, 202...

References

URL https://moonshotai.github.io/Kimi -K2/thinking.html.OpenAI. Learning to reason with llms, 2024a. URL https://openai.com/index/learnin g-to-reason-with-llms/. OpenAI. Introducing SWE-bench verified we're releasing a human-validated subset of swe- bench that more, 2024b. URL https://openai.com/index/introducing-swe-bench -verified/. OpenAI. Introducing gpt-5, 2025. URL https://openai.com/index/introducing-gpt-5 /. L. Phan, A. Gatti, Z. Han, N. Li, J. Hu, H. Zhang, C. B. C. Zhang, M. Shaaban, J. Ling, S. Shi, et al. Humanity's last exam. arXiv preprint arXiv:2501.14249, 2025. Qwen. Qwen3 tech……

[原文]URL https://moonshotai.github.io/Kim i-K2/thinking.html.OpenAI. Learning to reason with llms, 2024a. URL https://openai.com/index/learnin g-to-reason-with-llms/. OpenAI. Introducing SWE-bench verified we’re releasing a human-validated subset of swe- bench that more, 2024b. URL https://openai.com/index/introducing-swe-bench -verified/. OpenAI. Introducing gpt-5, 2025. URL https://openai.com/index/introducing-gpt-5 /. L. Phan, A. Gatti, Z. Han, N. Li, J. Hu, H. Zhang, C. B. C. Zhang, M. Shaaban, J. Ling, S. Shi, et al. Humanity’s last exam. arXiv preprint arXiv:2501.14249, 2025. Qwen. Qwen3 tech...