---

目录

1. 简介
2. 模型概览
3. 模型下载
4. 评估结果
5. 聊天网站与API平台
6. 如何本地运行
7. 许可证
8. 引用
9. 联系方式

1. 简介

我们推出了DeepSeek-V3，这是一款强大的专家混合（MoE）语言模型，总参数量达6710亿，每处理一个token时有370亿参数被激活。
为了实现高效的推理和经济实惠的训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这些架构已在DeepSeek-V2中得到充分验证。
此外，DeepSeek-V3还开创了一种无辅助损失的负载均衡策略，并设定了多token预测训练目标，以提升模型性能。
我们在14.8万亿个多样且高质量的token上对DeepSeek-V3进行了预训练，随后通过监督微调和强化学习阶段，充分发挥其潜力。
综合评估表明，DeepSeek-V3的表现优于其他开源模型，并达到了与领先的闭源模型相当的水平。 尽管性能卓越，DeepSeek-V3的完整训练仅需278.8万小时的H800 GPU算力。 此外，其训练过程极为稳定。
在整个训练过程中，我们未遇到任何不可恢复的损失激增现象，也未进行过任何回滚操作。

2. 模型概览

---

架构：创新的负载均衡策略与训练目标

• 在DeepSeek-V2高效架构的基础上，我们开创了无辅助损失的负载均衡策略，从而最大限度地减少了因鼓励负载均衡而带来的性能下降。
• 我们研究了多token预测（MTP）目标，并证明其有助于提升模型性能。
  此外，它还可用于推测性解码，以加速推理过程。

---

预训练：迈向极致的训练效率

• 我们设计了一个FP8混合精度训练框架，并首次验证了在超大规模模型上使用FP8训练的可行性和有效性。
• 通过算法、框架和硬件的协同设计，我们克服了跨节点MoE训练中的通信瓶颈，几乎实现了计算与通信的完全重叠。
  这显著提升了我们的训练效率，降低了训练成本，使我们能够在不增加额外开销的情况下进一步扩大模型规模。
• 仅花费266.4万小时的H800 GPU算力，我们就完成了DeepSeek-V3在14.8万亿个token上的预训练，打造出了目前最强的开源基础模型。预训练之后的后续训练阶段仅需10万小时的GPU算力。

---

后训练：从DeepSeek-R1中知识蒸馏

• 我们提出了一种创新的方法，将长链式思维（CoT）模型——特别是DeepSeek R1系列中的某款模型——的推理能力蒸馏到标准LLM中，尤其是DeepSeek-V3。我们的流程巧妙地将R1的验证和反思模式融入DeepSeek-V3，显著提升了其推理性能。同时，我们还能有效控制DeepSeek-V3的输出风格和长度。

---

3. 模型下载

[!注意] DeepSeek-V3在Hugging Face上的总大小为6850亿，其中包括6710亿的主模型权重和140亿的多token预测（MTP）模块权重。

为确保最佳性能和灵活性，我们已与开源社区和硬件厂商合作，提供了多种在本地运行模型的方式。有关分步指导，请参阅第6节：如何本地运行。

对于希望深入研究的开发者，我们建议查阅README_WEIGHTS.md，了解主模型权重和多token预测（MTP）模块的详细信息。请注意，MTP支持目前仍在社区中积极开发中，我们欢迎您的贡献和反馈。

4. 評估結果

基础模型

标准基准测试

[!NOTE] 最佳结果以粗体显示。分数差距不超过0.3的视为同一水平。DeepSeek-V3在大多数基准测试中表现最佳，尤其是在数学和代码任务上。 更多评估细节，请参阅我们的论文。

上下文窗口

“针在 haystack 中”（NIAH）测试的评估结果。DeepSeek-V3 在所有上下文窗口长度上均表现出色，最高可达 128K。

对话模型

标准基准测试（大于67B参数的模型）

[!NOTE] 所有模型均在输出长度限制为8K的配置下进行评估。样本数少于1000的基准测试会使用不同的温度设置多次测试，以得出稳健的最终结果。DeepSeek-V3是性能最佳的开源模型，同时在与前沿闭源模型的竞争中也表现出色。

开放式生成评估

[!NOTE] 英语开放式对话评估。对于AlpacaEval 2.0，我们使用控制长度后的胜率作为指标。

5. 聊天网站与API平台

您可以在DeepSeek的官方网站上与DeepSeek-V3进行对话：chat.deepseek.com

我们还在DeepSeek平台提供与OpenAI兼容的API：platform.deepseek.com

6. 如何在本地运行

DeepSeek-V3 可以使用以下硬件和开源社区软件在本地部署：

1. DeepSeek-Infer 演示：我们提供了一个简单轻量的 FP8 和 BF16 推理演示。
2. SGLang：完全支持 DeepSeek-V3 模型的 BF16 和 FP8 推理模式，并即将推出多标记预测功能 敬请期待。
3. LMDeploy：实现高效的 FP8 和 BF16 推理，适用于本地和云端部署。
4. TensorRT-LLM：目前支持 BF16 推理及 INT4/8 量化，FP8 支持也将很快推出。
5. vLLM：支持 DeepSeek-V3 模型的 FP8 和 BF16 模式，适用于张量并行和流水线并行。
6. LightLLM：支持 FP8 和 BF16 的高效单节点或多节点部署。
7. AMD GPU：通过 SGLang，可在 AMD GPU 上以 BF16 和 FP8 模式运行 DeepSeek-V3 模型。
8. 华为 Ascend NPU：支持在华为 Ascend 设备上以 INT8 和 BF16 模式运行 DeepSeek-V3。

由于我们的框架原生采用 FP8 训练，因此我们仅提供 FP8 权重。如果您需要 BF16 权重进行实验，可以使用提供的转换脚本进行转换。

以下是将 FP8 权重转换为 BF16 的示例：

cd inference
python fp8_cast_bf16.py --input-fp8-hf-path /path/to/fp8_weights --output-bf16-hf-path /path/to/bf16_weights

[!NOTE] Hugging Face 的 Transformers 尚未直接支持。

6.1 使用 DeepSeek-Infer 演示进行推理（仅作示例）

系统要求

[!NOTE] 仅支持 Python 3.10 的 Linux 系统。不支持 Mac 和 Windows。

依赖项：

torch==2.4.1
triton==3.0.0
transformers==4.46.3
safetensors==0.4.5

模型权重与演示代码准备

首先，克隆我们的 DeepSeek-V3 GitHub 仓库：

git clone https://github.com/deepseek-ai/DeepSeek-V3.git

进入 inference 文件夹，并安装 requirements.txt 中列出的依赖项。最简单的方法是使用包管理器如 conda 或 uv 创建一个新的虚拟环境并安装依赖项。

cd DeepSeek-V3/inference
pip install -r requirements.txt

从 Hugging Face 下载模型权重，并将其放入 /path/to/DeepSeek-V3 文件夹中。

模型权重转换

将 Hugging Face 模型权重转换为特定格式：

python convert.py --hf-ckpt-path /path/to/DeepSeek-V3 --save-path /path/to/DeepSeek-V3-Demo --n-experts 256 --model-parallel 16

运行

然后您就可以与 DeepSeek-V3 对话了：

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200

或者对给定文件进行批量推理：

torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR generate.py --ckpt-path /path/to/DeepSeek-V3-Demo --config configs/config_671B.json --input-file $FILE

6.2 使用 SGLang 进行推理（推荐）

SGLang 目前支持 MLA 优化、DP 注意力、FP8 (W8A8)、FP8 KV 缓存以及 Torch Compile，从而在开源框架中实现了最先进的延迟和吞吐量性能。

值得注意的是，SGLang v0.4.1 完全支持在 NVIDIA 和 AMD GPU 上运行 DeepSeek-V3，使其成为一个高度通用且稳健的解决方案。

SGLang 还支持 多节点张量并行，使您能够在多台联网的机器上运行该模型。

多标记预测 (MTP) 正在开发中，进展可以在 优化计划 中跟踪。

以下是 SGLang 团队提供的启动说明：https://github.com/sgl-project/sglang/tree/main/benchmark/deepseek_v3

6.3 使用 LMDeploy 进行推理（推荐）

LMDeploy，一个专为大型语言模型设计的灵活高性能推理和服务框架，现已支持 DeepSeek-V3。它提供离线流水线处理和在线部署功能，可无缝集成到基于 PyTorch 的工作流中。

有关使用 LMDeploy 运行 DeepSeek-V3 的完整分步指南，请参阅此处：https://github.com/InternLM/lmdeploy/issues/2960

6.4 使用 TRT-LLM 进行推理（推荐）

TensorRT-LLM 现已支持 DeepSeek-V3 模型，提供 BF16 和 INT4/INT8 仅权重等精度选项。FP8 支持目前正在开发中，不久后将发布。您可以通过以下链接访问专门用于支持 DeepSeek-V3 的 TRTLLM 自定义分支，直接体验新功能：https://github.com/NVIDIA/TensorRT-LLM/tree/main/examples/deepseek_v3。

6.5 使用 vLLM 进行推理（推荐）

vLLM v0.6.6 支持 DeepSeek-V3 在 NVIDIA 和 AMD GPU 上的 FP8 和 BF16 推理模式。除了标准技术外，vLLM 还提供 流水线并行 功能，允许您在多台联网的机器上运行该模型。有关详细指导，请参阅 vLLM 使用说明。同时，欢迎关注 改进计划。

6.6 使用 LightLLM 进行推理（推荐）

LightLLM v1.0.1 支持 DeepSeek-R1（FP8/BF16）的单机和多机张量并行部署，并提供混合精度部署，未来还将持续集成更多量化模式。有关详细信息，请参阅 LightLLM 使用说明。此外，LightLLM 还为 DeepSeek-V2 提供 PD 分离部署，而 DeepSeek-V3 的 PD 分离部署也正在开发中。

6.7 推荐使用 AMD GPU 进行推理

与 AMD 团队合作，我们借助 SGLang 实现了对 AMD GPU 的开箱即用支持，完全兼容 FP8 和 BF16 精度。有关详细指导，请参阅 SGLang 使用说明。

6.8 华为昇腾NPU推荐的推理功能

华为昇腾社区的MindIE框架已成功适配DeepSeek-V3的BF16版本。如需昇腾NPU的分步指导，请参阅此处说明。

7. 许可证

本代码仓库采用MIT许可证授权。DeepSeek-V3 Base/Chat模型的使用受模型许可证约束。DeepSeek-V3系列（包括Base和Chat）支持商业用途。

8. 引用

@misc{deepseekai2024deepseekv3technicalreport,
      title={DeepSeek-V3技术报告}, 
      author={DeepSeek-AI},
      year={2024},
      eprint={2412.19437},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2412.19437}, 
}

9. 联系方式

如有任何问题，请提交Issue或通过service@deepseek.com与我们联系。

DeepSeek-V3 快速上手指南

DeepSeek-V3 是一款拥有 6710 亿总参数（每次激活 370 亿参数）的混合专家（MoE）开源大语言模型。它支持 128K 上下文窗口，在数学、代码及通用任务上表现卓越，且采用了高效的 FP8 训练架构。

1. 环境准备

由于模型参数量巨大，本地运行对硬件要求较高。请确保满足以下条件：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04) 或 macOS (仅限量化版本)。
• GPU:
  • 全精度/半精度推理: 需要多卡高性能 GPU (如 NVIDIA H800/A800/H100)，显存需求极大。
  • 量化推理 (推荐): 使用 llama.cpp 或 vLLM 配合量化权重，可在消费级显卡或多卡环境中运行。
• 软件依赖:
  • Python >= 3.8
  • CUDA >= 11.8 (NVIDIA 用户)
  • Git, CMake, Build-essential

前置依赖安装：

# 安装基础工具
sudo apt-get update && sudo apt-get install -y git cmake build-essential

# 创建虚拟环境 (推荐)
python3 -m venv deepseek-env
source deepseek-env/bin/activate

# 安装 PyTorch (根据CUDA版本选择，此处以CUDA 11.8为例)
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装 Transformers 库 (建议使用最新开发版以支持最新架构)
pip3 install --upgrade transformers accelerate sentencepiece protobuf

国内加速提示：如遇网络问题，可使用清华源或阿里源加速 Python 包安装： pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装与模型下载

方式一：通过 Hugging Face 下载 (需网络环境)

# 安装 huggingface-cli
pip3 install huggingface_hub

# 下载 DeepSeek-V3 主模型 (包含 Base 和 Chat 版本)
# 注意：模型较大，请确保磁盘空间充足 (约 1.5TB+ 原始权重)
huggingface-cli download deepseek-ai/DeepSeek-V3 --local-dir ./DeepSeek-V3

方式二：使用 ModelScope (魔搭社区 - 国内推荐)

对于国内开发者，推荐使用阿里云 ModelScope 进行高速下载：

# 安装 modelscope
pip3 install modelscope -i https://pypi.tuna.tsinghua.edu.cn/simple

# 下载模型
python3 -c "from modelscope import snapshot_download; snapshot_download('deepseek-ai/DeepSeek-V3', cache_dir='./DeepSeek-V3')"

方式三：运行量化版本 (低显存方案)

如果显存有限，建议下载 GGUF 量化版本并使用 llama.cpp 运行：

# 克隆并编译 llama.cpp
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make LLAMA_CUDA=1 -j$(nproc)

# 下载量化模型 (示例：从 HuggingFace 下载 Q4_K_M 版本，或使用 ModelScope 对应仓库)
# 此处以手动下载 GGUF 文件到 ./models 目录为例

3. 基本使用

场景 A：使用 Python Transformers 加载 (适合多卡服务器)

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_path = "./DeepSeek-V3"  # 模型本地路径

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)

# 加载模型
# 注意：根据显存情况调整 device_map 和 torch_dtype
# 若显存不足，建议使用 bitsandbytes 进行 4bit/8bit 量化加载
model = AutoModelForCausalLM.from_pretrained(
    model_path,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 构建对话输入
messages = [
    {"role": "user", "content": "你好，请介绍一下 DeepSeek-V3 的特点。"}
]

# 应用聊天模板
input_text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)

# 生成回复
outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)

response = tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True)
print(response)

场景 B：使用 llama.cpp 运行量化模型 (适合单卡/消费级显卡)

假设已下载 deepseek-v3-q4_k_m.gguf 文件至 ./models 目录：

cd llama.cpp

# 运行交互式命令行
./main -m ../models/deepseek-v3-q4_k_m.gguf \
       -n 512 \
       --color \
       -i \
       -cnv \
       -p "你好，请介绍一下你自己。"

场景 C：使用 vLLM 部署高并发服务 (适合生产环境)

# 安装 vLLM
pip3 install vllm

# 启动 API 服务
# --trust-remote-code 必须添加，因为 DeepSeek-V3 使用了自定义注意力机制
python3 -m vllm.entrypoints.api_server \
    --model ./DeepSeek-V3 \
    --port 8000 \
    --trust-remote-code \
    --dtype bfloat16 \
    --max-model-len 128000

启动后，可通过 HTTP POST 请求调用：

curl http://localhost:8000/v1/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "./DeepSeek-V3",
        "prompt": "Hello, how are you?",
        "max_tokens": 100
    }'

---

注意：

1. DeepSeek-V3 包含 Multi-Token Prediction (MTP) 模块，目前部分推理框架可能尚未完全支持该加速特性，请以官方更新的推理后端为准。
2. 模型总参数量为 671B，但每次前向传播仅激活 37B 参数，推理速度主要取决于激活参数量及显存带宽。