DeepSeek-Math: Pushing the Frontiers of Math Reasoning by Open Language Models

nt SFT q , o ∼ P_sft(Q,O) - 1 RFT q ∼ P_sft(Q) , o ∼ π_sft(O|q) Rule Equation 10 DPO q ∼ P_sft(Q) , o+ , o- ∼ π_sft(O|q) Rule Equation 14 Online RFT q ∼ P_sft(Q) , o ∼ π_θ(O|q) Rule Equation 10 PPO q ∼ P_sft(Q) , o ∼ π_θ(O|q) Model Equation 18 GRPO q ∼ P_sft(Q) , {o_i}_{i=1}^G ∼ π_θ(O|q) Model Equation 21 表 10：不同方法的数据源和梯度系数。P_sft 表示监督微调数据集的数据分布。π_θ_sft 和 π_θ 分别表示监督微调模型和在线训练过程中的实时策略模型。• 监督微调（SFT）：SFT 在人工选择的 SFT 数据上微调预训练模型。• 拒绝采样微调（RFT）：RFT 基于 SFT 问题从 SFT 模型采样输出，过滤后在 SFT 模型上进一步微调。RFT 根据答案正确性过滤输出。• 直接偏好优化（DPO）：DPO 基于 SFT 模型采样的增强输出，使用成对 DPO 损失进一步微调 SFT 模型。• 在线拒绝采样微调（Online RFT）：与 RFT 不同，Online RFT 以 SFT 模型初始化策略模型，并使用实时策略模型采样的增强输出进行微调。• PPO/GRPO：PPO/GRPO 以 SFT 模型初始化策略模型，并使用实时策略模型采样的输出进行强化。我们在表 10 中总结这些方法的分量。详细推导过程见附录 A.1。图 5：DeepSeekMath-Instruct 1.3B 模型经不同方法进一步训练后在两个基准上的性能。图 6：DeepSeekMath-Instruct 7B 迭代强化学习在两个基准上的性能。关于数据源的观察 我们将数据源分为在线采样和离线采样两类。在线采样指训练数据来自实时训练策略模型的探索结果，离线采样指训练数据来自初始 SFT 模型的采样结果。RFT 和 DPO 属于离线风格，Online RFT 和 GRPO 属于在线风格。如图 5 所示，Online RFT 在两个基准上显著优于 RFT。具体而言，Online RFT 在训练早期与 RFT 相当，但在后期获得绝对领先，展示了在线训练的优越性。这符合直觉：早期 actor 与 SFT 模型非常接近，采样数据差异较小；后期 actor 采样数据差异更显著，实时采样带来更大优势。关于梯度系数的观察 算法将奖励信号处理为梯度系数以更新模型参数。我们在实验中将奖励函数分为「Rule」和「Model」。

FT 模型，使用成对 DPO 损失进一步微调。• 在线拒绝采样微调（Online RFT）：与 RFT 不同，Online RFT 以 SFT 模型初始化策略模型，并使用实时策略模型采样的增强输出进行微调。• PPO/GRPO：PPO/GRPO 以 SFT 模型初始化策略模型，并使用实时策略模型采样的输出进行强化。我们在表 10 中总结这些方法的分量。详细推导过程见附录 A.1。图 5：DeepSeekMath-Instruct 1.3B 模型经不同方法进一步训练后在两个基准上的性能。图 6：DeepSeekMath-Instruct 7B 迭代强化学习在两个基准上的性能。关于数据源的观察 我们将数据源分为在线采样和离线采样两类。在线采样指训练数据来自实时训练策略模型的探索结果，离线采样指训练数据来自初始 SFT 模型的采样结果。RFT 和 DPO 属于离线风格，Online RFT 和 GRPO 属于在线风格。如图 5 所示，Online RFT 在两个基准上显著优于 RFT。具体而言，Online RFT 在训练早期与 RFT 相当，但在后期获得绝对领先，展示了在线训练的优越性。这符合直觉：早期 actor 与 SFT 模型非常接近，采样数据差异较小；后期 actor 采样数据差异更显著，实时采样带来更大优势。关于梯度系数的观察 算法将奖励信号处理为梯度系数以更新模型参数。我们在实验中将奖励函数分为「Rule」和「Model」。Rule 指基于答案正确性判断回复质量，Model 指训练奖励模型对每个回复打分。奖励模型训练数据基于规则判断。公式 10 和 21 突出了 GRPO 与 Online RFT 的关键差异：GRPO 独特地根据奖励模型提供的奖励值调整梯度系数，从而对不同幅度的回复进行差异化强化和惩罚。相比之下，Online RFT 缺乏该特性；它不惩罚错误回复，并以相同强度统一强化所有正确答案的回复。如图 5 所示，GRPO 超越 online RFT，凸显了调整正负梯度系数的效率。此外，GRPO+PS 优于 GRPO+OS，表明使用细粒度、步骤感知的梯度系数有益。我们还探索迭代 RL，实验中进行了两轮迭代。如图 6 所示，迭代 RL 显著提升性能，尤其在第一轮。图 7：SFT 和 RL DeepSeekMath 7B 在 GSM8K 和 MATH 上的 Maj@K 和 Pass@K（temperature 0.7）。注意到 RL 提升 Maj@K 但不提升 Pass@K。5.2.2 为什么 RL 有效？ 本文基于指令微调数据子集进行强化学习，在指令微调模型上取得显著性能提升。为进一步解释 RL 为何有效，我们评估 Instruct 和 RL 模型在两个基准上的 Pass@K 和 Maj@K 准确率。如图 7 所示，RL 提升 Maj@K 性能但不提升 Pass@K。这些发现表明，RL 通过使输出分布更稳健来提升模型整体性能，换言之，改进似乎归因于从 TopK 中提升正确回复，而非基础能力的增强。类似地，（Wang 等，2023a）发现 SFT 模型在推理任务中存在对齐问题，表明通过一系列偏好对齐策略（Yuan 等，2023b；Song 等，2023；Wang 等，2023a）可提升 SFT 模型的推理性能。5.2.3 如何实现更有效的 RL？ 我们展示了 RL 在数学推理任务上效果良好。我们还提供了理解不同代表性训练方法的统一范式。在该范式下，所有方法都被概念化为直接或简化的 RL 技术。如公式 5 所总结，存在三个关键组件：数据源、算法和奖励函数。我们就这三个组件给出若干潜在未来方向。数据源 数据源是所有训练方法的原材料。在 RL 语境下，我们特指来自策略模型采样输出的无标注问题。本文仅使用指令微调阶段的问题和朴素的 nucleus sampling 采样输出。我们认为这可能是 RL 流程仅提升 Maj@K 性能的潜在原因。未来，我们将在分布外问题提示上探索 RL 流程，并结合基于树搜索方法（Yao 等，2023）等高级采样（解码）策略。此外，决定策略模型探索效率的高效推理技术（Xia 等，2023；Leviathan 等，2023；Kwon 等，2023；Xia 等，2024）也极为重要。算法 算法将数据和奖励信号处理为梯度系数以更新模型参数。基于公式 5，某种程度上，现有方法都完全 TRUST 奖励函数信号来增加或减少特定 token 的条件概率。然而，无法保证奖励信号始终可靠，尤其在极其复杂的任务中。例如，即使 PRM800K 数据集（Lightman 等，2023）经过训练有素的标注者仔细标注，仍包含约 20% 的错误标注 7 7 7 https://github.com/openai/prm800k/issues/12#issuecomment-1728491852。为此，我们将探索对噪声奖励信号鲁棒的强化学习算法。我们相信这类 WEAK-TO-STRONG（Burns 等，2023）对齐方法将

在我们的实验中，Rule 指基于答案正确性判断回复质量，Model 指训练奖励模型对每个回复打分。奖励模型训练数据基于规则判断。公式 10 和 21 突出了 GRPO 与 Online RFT 的关键差异：GRPO 独特地根据奖励模型提供的奖励值调整梯度系数，从而对不同幅度的回复进行差异化强化和惩罚。相比之下，Online RFT 缺乏该特性；它不惩罚错误回复，并以相同强度统一强化所有正确答案的回复。如图 5 所示，GRPO 超越 online RFT，凸显了调整正负梯度系数的效率。此外，GRPO+PS 优于 GRPO+OS，表明使用细粒度、步骤感知的梯度系数有益。我们还探索迭代 RL，实验中进行了两轮迭代。如图 6 所示，迭代 RL 显著提升性能，尤其在第一轮。图 7：SFT 和 RL DeepSeekMath 7B 在 GSM8K 和 MATH 上的 Maj@K 和 Pass@K（temperature 0.7）。注意到 RL 提升 Maj@K 但不提升 Pass@K。5.2.2 为什么 RL 有效？ 本文基于指令微调数据子集进行强化学习，在指令微调模型上取得显著性能提升。为进一步解释 RL 为何有效，我们评估 Instruct 和 RL 模型在两个基准上的 Pass@K 和 Maj@K 准确率。如图 7 所示，RL 提升 Maj@K 性能但不提升 Pass@K。这些发现表明，RL 通过使输出分布更稳健来提升模型整体性能，换言之，改进似乎归因于从 TopK 中提升正确回复，而非基础能力的增强。类似地，（Wang 等，2023a）发现 SFT 模型在推理任务中存在对齐问题，表明通过一系列偏好对齐策略（Yuan 等，2023b；Song 等，2023；Wang 等，2023a）可提升 SFT 模型的推理性能。5.2.3 如何实现更有效的 RL？ 我们展示了 RL 在数学推理任务上效果良好。我们还提供了理解不同代表性训练方法的统一范式。在该范式下，所有方法都被概念化为直接或简化的 RL 技术。如公式 5 所总结，存在三个关键组件：数据源、算法和奖励函数。我们就这三个组件给出若干潜在未来方向。数据源 数据源是所有训练方法的原材料。在 RL 语境下，我们特指来自策略模型采样输出的无标注问题。本文仅使用指令微调阶段的问题和朴素的 nucleus sampling 采样输出。我们认为这可能是 RL 流程仅提升 Maj@K 性能的潜在原因。未来，我们将在分布外问题提示上探索 RL 流程，并结合基于树搜索方法（Yao 等，2023）等高级采样（解码）策略。此外，决定策略模型探索效率的高效推理技术（Xia 等，2023；Leviathan 等，2023；Kwon 等，2023；Xia 等，2024）也极为重要。算法 算法将数据和奖励信号处理为梯度系数以更新模型参数。基于公式 5，某种程度上，现有方法都完全 TRUST 奖励函数信号来增加或减少特定 token 的条件概率。然而，无法保证奖励信号始终可靠，尤其在极其复杂的任务中。例如，即使 PRM800K 数据集（Lightman 等，2023）经过训练有素的标注者仔细标注，仍包含约 20% 的错误标注 7 7 7 https://github.com/openai/prm800k/issues/12#issuecomment-1728491852。为此，我们将探索对噪声奖励信号鲁棒的强化学习算法。我们相信这类 WEAK-TO-STRONG（Burns 等，2023）对齐方法将

归因于从 TopK 中提升正确回复，而非基础能力的增强。类似地，（Wang 等，2023a）发现 SFT 模型在推理任务中存在对齐问题，表明通过一系列偏好对齐策略（Yuan 等，2023b；Song 等，2023；Wang 等，2023a）可提升 SFT 模型的推理性能。5.2.3 如何实现更有效的 RL？ 我们展示了 RL 在数学推理任务上效果良好。我们还提供了理解不同代表性训练方法的统一范式。在该范式下，所有方法都被概念化为直接或简化的 RL 技术。如公式 5 所总结，存在三个关键组件：数据源、算法和奖励函数。我们就这三个组件给出若干潜在未来方向。数据源 数据源是所有训练方法的原材料。在 RL 语境下，我们特指来自策略模型采样输出的无标注问题。本文仅使用指令微调阶段的问题和朴素的 nucleus sampling 采样输出。我们认为这可能是 RL 流程仅提升 Maj@K 性能的潜在原因。未来，我们将在分布外问题提示上探索 RL 流程，并结合基于树搜索方法（Yao 等，2023）等高级采样（解码）策略。此外，决定策略模型探索效率的高效推理技术（Xia 等，2023；Leviathan 等，2023；Kwon 等，2023；Xia 等，2024）也极为重要。算法 算法将数据和奖励信号处理为梯度系数以更新模型参数。基于公式 5，某种程度上，现有方法都完全 TRUST 奖励函数信号来增加或减少特定 token 的条件概率。然而，无法保证奖励信号始终可靠，尤其在极其复杂的任务中。例如，即使 PRM800K 数据集（Lightman 等，2023）经过训练有素的标注者仔细标注，仍包含约 20% 的错误标注 7 7 7 https://github.com/openai/prm800k/issues/12#issuecomment-1728491852。为此，我们将探索对噪声奖励信号鲁棒的强化学习算法。我们相信这类 WEAK-TO-STRONG（Burns 等，2023）对齐方法将

为学习算法带来根本性变革。奖励函数 奖励函数是训练信号的来源。在 RL 中，奖励函数通常是神经奖励模型。我们认为奖励模型存在三个重要方向：1) 如何增强奖励模型的泛化能力。奖励模型必须有效泛化以处理分布外问题和高级解码输出；否则 RL 可能仅稳定 LLM 分布而非提升其基础能力；2) 如何反映奖励模型的不确定性。不确定性可能作为弱奖励模型与 weak-to-strong 学习算法之间的桥梁；3) 如何高效构建能为推理过程提供细粒度训练信号的高质量过程奖励模型（Lightman 等，2023；Wang 等，2023b）。

我们首先分享预训练经验。除非另有说明，我们遵循第 2.2.1 节的训练设置。值得注意的是，本节中提及 DeepSeekMath 语料库时，我们使用的是数据收集过程第二次迭代的 89B-token 数据集。5.1.1 代码训练有益于数学推理 一个流行但尚未验证的假设认为代码训练能提升推理能力。我们尝试对此给出部分回答，尤其在数学领域：代码训练能提升模型有工具和无工具两种情况下的数学推理能力。为研究代码训练如何影响数学推理，我们实验了以下两阶段和单阶段训练设置：两阶段训练 • 400B tokens 代码训练 → 150B tokens 数学训练：DeepSeek-LLM 1.3B 先训练 400B 代码 tokens，再训练 150B 数学 tokens；• 400B tokens 通用训练 → 150B tokens 数学训练：作为对照，第一阶段使用通用 tokens（从 DeepSeek-AI 创建的大规模通用语料采样）而非代码 tokens，以研究代码 tokens 相对通用 tokens 在提升数学推理方面的优势。单阶段训练 • 150B tokens 数学训练：DeepSeek-LLM 1.3B 训练 150B 数学 tokens；• 400B 代码 tokens 与 150B 数学 tokens 混合训练：代码训练后的数学训练会降低编程性能。我们研究代码 tokens 与数学 tokens 混合进行单阶段训练是否仍能提升数学推理并缓解灾难性遗忘。Training Setting Training Tokens w/o Tool Use w/ Tool Use General Code Math GSM8K MATH CMATH GSM8K+Python MATH+Python No Continual Training – – – 2.9% 3.0% 12.3% 2.7% 2.3% Two-Stage Training Stage 1: General Training 400B –

– 2.9% 3.2% 14.8% 3.3% 2.3% Stage 2: Math Training – – 150B 19.1% 14.4% 37.2% 14.3% 6.7% Stage 1: Code Training – 400B – 5.9% 3.6% 19.9% 12.4% 10.0% Stage 2: Math Training – – 150B 21.9% 15.3% 39.7% 17.4% 9.4% One-Stage Training Math Training – – 150B 20.5% 13.1% 37.6% 11.4% 6.5% Code & Math Mixed Training – 400B 150B 17.6% 12.1% 36.3% 19.7% 13.5% 表 6：不同训练设置下代码对数学推理的影响。我们在 DeepSeek-LLM 1.3B 上实验，分别通过少样本思维链提示和少样本程序思维提示评估有/无工具使用的数学推理性能。Training Setting Training Tokens MMLU BBH HumanEval (Pass@1) MBPP (Pass@1) General Code Math No Continual Training – – – 24.5% 28.1% 12.2% 13.0% Two-Stage Training Stage 1: General Training 400B – – 25.9% 27.7% 15.2% 13.6% Stage 2: Math Training – – 150B 33.1% 32.7% 12.8% 13.2% Stage 1: Code Training – 400B – 25.0% 31.5% 25.0% 40.0% Stage 2: Math Training – – 150B 36.2% 35.3% 12.2% 17.0% One-Stage Training Math Training – – 150B 32.3% 32.5% 11.6% 13.2% Code & Math Mixed Training – 400B 150B 33.5% 35.6% 29.3% 39.4% 表 7：不同代码与数学训练设置对语言理解、推理和编程性能的影响。我们在 DeepSeek-LLM 1.3B 上实验。在 MMLU 和 BBH 上使用少样本思维链提示评估。在 HumanEval 和 MBPP 上分别进行零样本和少样本评估。结果 表 6 和表 7 展示了不同训练设置下的下游性能。代码训练有益于程序辅助数学推理，无论两阶段还是单阶段训练均如此。如表 6 所示，在两阶段训练下，仅代码训练已显著增强使用 Python 求解 GSM8K 和 MATH 问题的能力。第二阶段数学训练带来进一步提升。

第二阶段数学训练带来进一步提升。有趣的是，在单阶段训练下，混合代码 tokens 和数学 tokens 有效缓解了双阶段训练引发的灾难性遗忘，并协同提升了编程（表 7）和程序辅助数学推理（表 6）。代码训练也提升了无工具使用的数学推理。在两阶段训练下，初始代码训练阶段已带来中等幅度提升，并提高后续数学训练效率，最终达到最佳性能。然而，单阶段混合代码和数学 tokens 会损害无工具使用的数学推理。一种推测是 DeepSeek-LLM 1.3B 由于规模有限，无法同时充分吸收代码和数学数据。Model Size ArXiv Corpus English Benchmarks Chinese Benchmarks GSM8K MATH OCW SAT MMLU STEM CMATH Gaokao MathCloze Gaokao MathQA DeepSeek-LLM 1.3B No Math Training 2.9% 3.0% 2.9% 15.6% 19.5% 12.3% 0.8% 17.9% MathPile 2.7% 3.3% 2.2% 12.5% 15.7% 1.2% 0.0% 2.8% ArXiv-RedPajama 3.3% 3.4% 4.0% 9.4% 9.0% 7.4% 0.8% 2.3% DeepSeek-Coder-Base-v1.5 7B No Math Training 29.0% 12.5% 6.6% 40.6% 38.1% 45.9% 5.9% 21.1% MathPile 23.6% 11.5% 7.0% 46.9% 35.8% 37.9% 4.2% 25.6% ArXiv-RedPajama 28.1% 11.1% 7.7% 50.0% 35.2% 42.6% 7.6% 24.8% 表 8：在不同 arXiv 数据集上进行数学训练的效果。模型性能采用少样本思维链提示评估。ArXiv Corpus miniF2F-valid miniF2F-test No Math Training 20.1% 21.7% MathPile 16.8% 16.4% ArXiv-RedPajama 14.8% 11.9% 表 9：在不同 arXiv 语料上进行数学训练的效果，基座模型为 DeepSeek-Coder-Base-v1.5 7B。我们在 Isabelle 中评估非形式到形式证明。

，2023；Wang 等，2023c）。然而，关于其对数学推理影响的详细分析尚未充分开展。或许有违直觉，根据我们的实验，arXiv 论文似乎对提升数学推理效果有限。我们在不同规模模型（包括 DeepSeek-LLM 1.3B 和 DeepSeek-Coder-Base-v1.5 7B（Guo 等，2024））上，使用经过不同处理流程的 arXiv 语料进行实验：• MathPile（Wang 等，2023c）：采用清洗和过滤启发式规则构建的 8.9B-token 语料，其中超过 85% 为科学 arXiv 论文；• ArXiv-RedPajama（Computer，2023）：去除前言、注释、宏和参考文献的全部 arXiv LaTeX 文件，共 28.0B tokens。实验中，我们在每个 arXiv 语料上分别训练 DeepSeek-LLM 1.3B 150B tokens 和 DeepSeek-Coder-Base-v1.5 7B 40B tokens。arXiv 论文似乎对提升数学推理效果有限。在仅 arXiv 语料上训练时，两个模型在本研究采用的各复杂度数学基准上均无明显提升甚至出现性能下降，包括 GSM8K 和 MATH 等定量推理数据集（表 8）、MMLU-STEM 等多选题（表 8）以及 miniF2F 等形式化数学（表 9）。然而，该结论存在局限，应谨慎看待。我们尚未研究：• arXiv tokens 对本研究未涵盖的特定数学相关任务（如定理非形式化，即将形式陈述或证明转换为非形式版本）的影响；• arXiv tokens 与其他类型数据结合时的效果；• arXiv 论文的益处是否在更大模型规模上才会显现。因此，仍需进一步探索，我们留待未来研究。