---

模型下载 | 评估结果 | 模型架构 | API平台 | 许可证 | 引用

论文链接👁️

DeepSeek-V2：一款强大、经济高效且高效的专家混合语言模型

1. 引言

今天，我们隆重推出DeepSeek-V2，这是一款强大的专家混合（MoE）语言模型，以其经济高效的训练和高效的推理能力而著称。该模型总参数量为2360亿，其中每次处理一个token时仅激活210亿个参数。与DeepSeek 67B相比，DeepSeek-V2不仅性能更优，还节省了42.5%的训练成本，将KV缓存减少了93.3%，并将最大生成吞吐量提升了5.76倍。

我们在包含8.1万亿个token的多样化高质量语料库上预训练了DeepSeek-V2。全面的预训练之后，我们又进行了监督微调（SFT）和强化学习（RL），以充分释放模型的能力。评估结果证明了我们方法的有效性：DeepSeek-V2在标准基准测试以及开放式生成评估中均表现出色。

2. 新闻

• 2024年5月16日：我们发布了DeepSeek-V2-Lite。
• 2024年5月6日：我们发布了DeepSeek-V2。

3. 模型下载

由于HuggingFace平台的限制，在使用HuggingFace运行于GPU上的代码时，开源代码的性能目前仍不及我们的内部代码库。为了便于高效运行我们的模型，我们提供了一个专门的vllm解决方案，可优化性能，从而更有效地运行我们的模型。

4. 評估結果

基础模型

标准基准测试（模型参数量大于67B）

标准基准测试（模型参数量小于16B）

更多评估细节，如少样本设置和提示词，请参阅我们的论文。

上下文窗口

在“针中找针”（NIAH）测试中的评估结果。DeepSeek-V2 在所有上下文窗口长度上均表现出色，最长可达 128K。

对话模型

标准基准测试（模型参数量大于67B）

标准基准测试（模型参数量小于16B）

英语开放式生成评估

我们在 AlpacaEval 2.0 和 MTBench 上对我们的模型进行了评估，结果显示 DeepSeek-V2-Chat-RL 在英语对话生成方面具有竞争力。

中文开放式生成评估

Alignbench（https://arxiv.org/abs/2311.18743）

编码基准测试

我们在 LiveCodeBench（0901-0401）上对我们的模型进行了评估，该基准测试专为实时编码挑战而设计。正如所示，DeepSeek-V2 在 LiveCodeBench 中表现出相当高的水平，其 Pass@1 分数超越了其他一些复杂模型。这一表现凸显了该模型在处理实时编码任务方面的有效性。

5. 模型架构

DeepSeek-V2 采用了创新的架构，以确保经济高效的训练和高效的推理：

• 在注意力机制方面，我们设计了 MLA（多头潜在注意力），它利用低秩键值联合压缩来消除推理时键值缓存的瓶颈，从而支持高效的推理。
• 对于前馈网络（FFN），我们采用了 DeepSeekMoE 架构，这是一种高性能的 MoE 架构，能够在更低的成本下训练出更强大的模型。

6. 聊天网站

您可以在 DeepSeek 的官方网站上与 DeepSeek-V2 进行对话：chat.deepseek.com

7. API 平台

我们还在 DeepSeek 平台上提供了与 OpenAI 兼容的 API：platform.deepseek.com。注册即可获得数百万个免费 Token，并且还可以按需付费，价格极具竞争力。

8. 如何在本地运行

要在 BF16 格式下使用 DeepSeek-V2 进行推理，需要 80GB 显存的 8 张 GPU。

使用 Hugging Face 的 Transformers 进行推理

您可以直接使用 Hugging Face 的 Transformers 进行模型推理。

文本补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` 应根据您的设备设置
max_memory = {i: "75GB" for i in range(8)}
# `device_map` 不能设置为 `auto`
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "An attention function can be described as mapping a query and a set of key-value pairs to an output, where the query, keys, values, and output are all vectors. The output is"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

聊天补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` 应根据您的设备设置
max_memory = {i: "75GB" for i in range(8)}
# `device_map` 不能设置为 `auto`
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "Write a piece of quicksort code in C++"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

完整的聊天模板可以在 Hugging Face 模型仓库中的 tokenizer_config.json 文件中找到。

聊天模板示例如下：

<｜begin▁of▁sentence｜>User: {user_message_1}

Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

Assistant:

您也可以添加一个可选的系统消息：

<｜begin▁of▁sentence｜>{system_message}

User: {user_message_1}

Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

Assistant:

使用 SGLang 进行推理（推荐）

SGLang 目前支持 MLA 优化、FP8（W8A8）、FP8 键值缓存以及 Torch Compile，在开源框架中提供了最佳的延迟和吞吐量。以下是一些启动兼容 OpenAI API 服务器的示例命令：

# BF16，张量并行度 = 8
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V2-Chat --tp 8 --trust-remote-code

# BF16，带 Torch Compile（编译可能需要几分钟）
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V2-Lite-Chat --trust-remote-code --enable-torch-compile

# FP8，张量并行度 = 8，FP8 键值缓存
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V2-Chat --tp 8 --trust-remote-code --quant fp8 --kv-cache-dtype fp8_e5m2

启动服务器后，您可以使用 OpenAI API 进行查询：

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

# 聊天补全
response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "You are a helpful AI assistant"},
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)
print(response)

使用 vLLM 进行推理（推荐）

要使用 vLLM 进行模型推理，请将此 Pull Request 合并到您的 vLLM 代码库中：https://github.com/vllm-project/vllm/pull/4650。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 8
model_name = "deepseek-ai/DeepSeek-V2-Chat"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "Translate the following content into Chinese directly: DeepSeek-V2 adopts innovative architectures to guarantee economical training and efficient inference."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

LangChain 支持

由于我们的 API 与 OpenAI 兼容，因此您可以轻松地在 langchain 中使用它。 以下是一个示例：

from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
    model='deepseek-chat',
    openai_api_key=<您的 DeepSeek API 密钥>,
    openai_api_base='https://api.deepseek.com/v1',
    temperature=0.85,
    max_tokens=8000)

9. 许可证

本代码仓库采用 MIT 许可证 许可。DeepSeek-V2 Base/Chat 模型的使用受 模型许可证 约束。DeepSeek-V2 系列（包括 Base 和 Chat）支持商业用途。

10. 引用

@misc{deepseekv2,
      title={DeepSeek-V2: 一款强大、经济高效且高效的专家混合语言模型}, 
      author={DeepSeek-AI},
      year={2024},
      eprint={2405.04434},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

11. 联系方式

如果您有任何问题，请提交一个问题或通过 service@deepseek.com 联系我们。

DeepSeek-V2 快速上手指南

DeepSeek-V2 是一款强大的混合专家（MoE）语言模型，拥有 2360 亿总参数（每次激活 210 亿），在保持卓越性能的同时，显著降低了训练成本和推理显存占用。它支持长达 128k 的上下文窗口，并在中英文理解、代码生成及数学推理方面表现优异。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+)
• GPU: NVIDIA GPU (建议显存 24GB 以上，多卡环境更佳)
• CUDA: 11.8 或 12.1+
• Python: 3.8 - 3.11

前置依赖

确保已安装以下基础库：

• PyTorch (2.0+)
• Transformers
• Accelerate

注意：由于 Hugging Face 原生代码在运行 MoE 架构时效率较低，官方强烈推荐使用优化的 vllm 后端以获得最佳推理速度。

2. 安装步骤

方案 A：使用 vllm 加速推理（推荐）

这是运行 DeepSeek-V2 最高效的方式，能显著提升吞吐量并降低延迟。

# 安装 vllm (确保 CUDA 版本匹配)
pip install vllm

# 或者从源码安装以获取最新优化
git clone https://github.com/vllm-project/vllm.git
cd vllm
pip install -e .

方案 B：使用 Hugging Face Transformers

适用于调试或非高性能需求场景。

# 安装必要依赖
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece protobuf

3. 基本使用

方法一：通过 vllm 启动 API 服务（推荐）

此方法启动一个兼容 OpenAI 格式的本地 API 服务，适合集成到现有应用或进行高并发测试。

# 启动 DeepSeek-V2-Chat 模型服务
# --tensor-parallel-size 根据显卡数量调整，例如 2 张卡设为 2
python -m vllm.entrypoints.api_server \
    --model deepseek-ai/DeepSeek-V2-Chat \
    --trust-remote-code \
    --tensor-parallel-size 2 \
    --port 8000

调用示例 (Python):

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",
    api_key="EMPTY" # vllm 默认不需要 key
)

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V2-Chat",
    messages=[
        {"role": "user", "content": "请用 Python 写一个快速排序算法。"}
    ]
)

print(response.choices[0].message.content)

方法二：使用 Hugging Face Transformers 直接加载

适合本地脚本快速测试或研究模型结构。

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "deepseek-ai/DeepSeek-V2-Chat"

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

# 加载模型 (建议使用 float16 或 bfloat16 节省显存)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
)

# 准备输入
prompt = "解释一下量子纠缠的基本概念。"
messages = [{"role": "user", "content": prompt}]

# 生成回复
input_ids = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)
output_ids = model.generate(input_ids, max_new_tokens=512)

response = tokenizer.decode(output_ids[0], skip_special_tokens=True)
print(response)

模型版本选择

根据需求选择合适的模型版本下载：

模型名称	参数量	激活参数	上下文长度	适用场景
DeepSeek-V2-Lite	16B	2.4B	32k	资源受限环境，轻量级任务
DeepSeek-V2-Lite-Chat	16B	2.4B	32k	轻量级对话交互
DeepSeek-V2	236B	21B	128k	复杂推理、长文档分析 (基座)
DeepSeek-V2-Chat	236B	21B	128k	高级对话、代码生成、逻辑推理

提示: 国内用户若访问 Hugging Face 较慢，可配置镜像源：

export HF_ENDPOINT=https://hf-mirror.com