DeepSeek LLM: Scaling Open-Source Language Models with Long-termism

在大型语言模型的架构设计与训练范式上，DeepSeek LLM 采用了基于 Decoder-Only Transformer 的经典结构，整体沿用了 LLaMA 系列的高效设计，并针对开源场景进行了深度优化。架构层面，模型引入了 Rotary Positional Embedding (RoPE) 以增强长序列位置感知能力，采用 SwiGLU 激活函数替代传统 ReLU 以提升非线性表达能力，结合 RMSNorm 层归一化与分组查询注意力（GQA）机制，在保持推理精度的同时显著降低了 KV Cache 的显存占用与计算开销。选择 7B 与 1.3B 参数规模并非随机，而是基于对算力成本、推理延迟与模型能力之间平衡的精确计算：1.3B 模型专为边缘设备、移动端部署与低延迟交互场景设计，7B 模型则兼顾了通用能力、复杂推理与云端部署成本。其“多阶段训练”范式是架构落地的核心引擎，严格划分为预训练（Pre-training）、监督微调（SFT）与偏好对齐（DPO/RLHF）三大阶段。预训练阶段依托 2 万亿 Token 的高质量语料，模型学习语言的底层分布、世界常识与跨模态逻辑；SFT 阶段引入超 100 万条人工精选与合成指令数据，通过有监督学习使模型掌握任务遵循、格式约束与领域专家能力；DPO 阶段则通过直接偏好优化技术，将人类价值观、安全约束与交互流畅度注入模型，完成从“语言预测器”到“智能助手”的能力跃迁。在训练工程层面，团队创新性地用多步学习率调度器（Multi-step LR Scheduler）替代了传统的余弦衰减策略。这一改动在原理上解决了大规模分布式训练中因断点续训导致的学习率震荡与梯度不稳定问题，使得模型能够在不损失收敛性能的前提下进行长期、连续的预训练扩展。多阶段训练不仅实现了能力的阶梯式增长，更通过架构与超参数的透明化，为开源社区提供了一套可复现、可扩展的训练蓝图。最终效果表明，该架构在保持极低显存占用的同时，实现了与更大规模模型相媲美的推理与生成能力，彻底打破了“参数规模决定一切”的迷思，为中小规模模型的高效部署奠定了坚实的技术底座。

Long-termism（长期主义）在 DeepSeek LLM 的研发中并非一句口号，而是一套贯穿数据构建、规模定律验证与训练策略的系统性工程哲学。传统大模型训练常陷入“盲目堆算力”的短期主义陷阱，导致规模定律（Scaling Laws）在不同数据集上呈现剧烈波动，模型性能出现边际递减甚至退化。DeepSeek 团队通过长期主义视角，将研发重心从“参数规模竞赛”转向“数据质量与训练确定性”。在数据筛选层面，团队构建了包含 2 万亿 Token 的预训练语料库，并设计了多层级、自动化的过滤流水线。首先通过 MinHash 与 SimHash 进行跨语言去重，消除数据冗余与过拟合风险；其次引入基于规则引擎与轻量级分类器的质量打分机制，综合评估文本的信息密度、语法规范性与领域价值，坚决剔除广告垃圾、低质爬虫内容与有毒有害文本；最后针对中英文双语特性进行语言比例动态平衡与领域加权（如代码、数学、百科、文学、医疗等），确保模型具备均衡的知识结构。这种“少而精”的数据策略直接回应了“垃圾进、垃圾出”的底层逻辑。在规模定律研究上，团队发现不同来源的数据集会导致训练损失曲线呈现截然不同的收敛斜率，因此他们摒弃了单一数据集的拟合，转而建立跨数据集的稳健扩展模型，并据此精确预测 7B/67B 模型的预期性能。训练过程中，所有超参数（如批次大小、学习率、权重衰减、序列长度）均通过长期实验验证，确保模型在长周期训练中保持梯度稳定与损失平滑下降。长期主义哲学的落地效果极为显著：模型在相同算力预算下实现了更优的收敛速度，预训练损失下降曲线更加平滑，且显著提升了模型在复杂推理、长程依赖与跨领域泛化任务中的表现。这一创新不仅重塑了开源大模型的研发范式，更向业界证明：高质量数据治理、严谨的规模定律分析与可复现的训练方法论，远比盲目扩缩更具长期技术价值与商业可持续性。

DeepSeek LLM 在发布后的一系列权威基准测试中，展现出了与同期头部闭源模型（如 PaLM、Bard 及早期 GPT 系列）相媲美的综合能力，这一成绩彻底打破了开源模型在性能上“天然低人一等”的行业刻板印象。其评估体系覆盖基座模型（Base）与对话模型（Chat）两大维度，并在客观评测与开放生成测试中均取得突破性进展。在客观基准方面，模型在 MMLU（大规模多任务语言理解）上展现出卓越的跨学科知识检索与逻辑推理能力，在 GSM8K 数学推理基准中通过多阶段微调显著提升了逐步推导（Chain-of-Thought）的准确率，在 HumanEval 代码生成任务中亦达到行业领先水平，证明其在结构化任务中的强泛化性。这些成绩的背后，是严格的多阶段训练与偏好对齐机制：SFT 阶段注入的百万级高质量指令数据，有效激活了模型的领域专家能力与格式遵循性；DPO 阶段则通过对比学习优化了输出分布，使其在遵循指令的同时保持事实一致性与低幻觉率。在开放生成评估中，DeepSeek 团队引入了自动化评分模型与人工盲测相结合的方法，重点考察长文本连贯性、创造性写作、复杂任务规划与多轮对话稳定性。结果显示，模型在保持高信息密度的同时，显著降低了冗余重复与逻辑断裂。此外，安全评估环节通过红队测试（Red Teaming）验证了模型在敏感话题、偏见过滤、合规生成与越狱防御上的稳健性。与闭源模型性能相当的核心原因在于：DeepSeek 摒弃了“黑盒调参”，转而依赖透明的规模定律指导、高质量数据驱动与科学的对齐技术，使得模型能力增长具备可解释性与可复现性。这一成绩不仅验证了开源技术路线的可行性，更为学术界与工业界提供了一个无需依赖商业授权即可进行前沿探索的强力基座，极大降低了高性能大模型的应用门槛，并重新定义了开源与闭源模型的竞争边界。

DeepSeek LLM 的全面开源，标志着基础模型研发从“商业封闭垄断”向“科学开放协作”的历史性转折，对全球 AI 研究生态产生了深远且不可逆的推动作用。在 DeepSeek 之前，大语言模型的权重、训练数据与超参数大多被头部科技公司严格保密，导致学术界难以复现前沿成果，研究进展严重受制于算力壁垒与数据黑箱。DeepSeek 团队不仅公开了 7B 与 1.3B 模型的完整权重，更罕见地开源了包含 2 万亿 Token 的数据构建策略、多阶段训练超参数配置、规模定律分析代码、学习率调度逻辑以及详细的训练日志。这种极致的透明度为全球研究者提供了一套“开箱即用”的科研基础设施。在技术层面，开源直接催生了大量衍生研究：学者们基于该架构探索了参数高效微调（PEFT）、量化压缩（Quantization）、投机解码（Speculative Decoding）与长上下文扩展等高效推理技术；开发者将其适配至多模态、智能体（Agent）、RAG 架构与垂直行业领域，加速了 AI 落地进程。在生态层面，DeepSeek 的长期主义开源策略降低了创新门槛，使高校实验室、独立开发者与中小型企业能够以极低成本开展前沿实验，打破了算力与资本的垄断。更重要的是，它建立了一种健康的科研文化：强调可复现性、方法论透明、数据治理与社区共建。这种开放不仅加速了技术迭代周期，还促使业界重新审视大模型发展的核心驱动力——从“资源堆砌”转向“算法优化、数据质量与训练确定性”。如今，DeepSeek LLM 已成为全球开源大模型家族的重要基石，其引发的链式反应持续滋养着 AI 基础研究的沃土，真正实现了“以开源拓界，以长期主义致胜”的愿景，并为未来 AGI 的开放演进奠定了制度与技术双重基础。