DeepSeek-V3

DeepSeek-V3：混合注意力与多Token预测

📅 2024-12-27👤 DeepSeek Team📄 arXiv: 2412.19437📊 中等

MoE混合注意力多Token预测基础模型

中文摘要

DeepSeek-V3 采用 Multi-Token Prediction（多Token预测）、DeepSeekMoE 混合专家架构和 Hybrid Attention（混合注意力）等技术创新，在多项基准上达到 SOTA 水平。Multi-Token Prediction 通过同时预测多个 token 大幅提升训练和推理效率。DeepSeekMoE 采用多路由辅助专家机制，实现专家间的极致专业化分工。混合注意力机制结合了分组查询注意力和多查询注意力，在性能和效率之间取得最佳平衡。

DeepSeek-V3 uses Multi-Token Prediction, DeepSeekMoE, and Hybrid Attention for SOTA performance across multiple benchmarks. Multi-Token Prediction dramatically improves training and inference efficiency.

快速链接

PDF 下载 arXiv 原文 GitHub 查看翻译 (88%)

核心贡献

Multi-Token Prediction（多Token预测）大幅提升训练和推理效率
DeepSeekMoE 混合专家架构，多路由辅助专家机制实现极致专业化分工
Hybrid Attention（混合注意力）结合 GQA 和 MQA，在性能和效率间取得最佳平衡
在多项基准上达到 SOTA 水平

技术细节

架构	Multi-Token Prediction + DeepSeekMoE + Hybrid Attention
核心创新	多Token预测、MoE 路由、混合注意力
性能	多项基准 SOTA
效率	训练和推理效率大幅提升

💡 阅读建议

DeepSeek 系列的核心论文。重点理解三大技术创新：Multi-Token Prediction、DeepSeekMoE、Hybrid Attention。