---

模型下载 | 评估结果 | API平台 | 使用方法 | 许可证 | 引用

论文链接👁️

DeepSeek-Coder-V2：突破代码智能领域闭源模型的壁垒

1. 引言

我们推出了DeepSeek-Coder-V2，这是一个开源的专家混合（MoE）代码语言模型，在代码相关任务中达到了与GPT4-Turbo相当的性能。具体来说，DeepSeek-Coder-V2是在DeepSeek-V2的中间检查点基础上，通过额外的6万亿个token继续预训练而成。通过这一持续的预训练，DeepSeek-Coder-V2显著提升了DeepSeek-V2的编码和数学推理能力，同时在通用语言任务上保持了相近的性能。与DeepSeek-Coder-33B相比，DeepSeek-Coder-V2在各类代码相关任务以及推理和通用能力方面都有了显著提升。此外，DeepSeek-Coder-V2将支持的编程语言从86种扩展到了338种，并将上下文长度从16K扩展至128K。

在标准基准测试中，DeepSeek-Coder-V2在编码和数学基准测试中均表现出优于GPT4-Turbo、Claude 3 Opus和Gemini 1.5 Pro等闭源模型的性能。支持的编程语言列表可以在此处找到这里。

2. 模型下载

我们基于DeepSeekMoE框架发布了具有16B和236B参数的DeepSeek-Coder-V2，其有效参数仅为2.4B和21B，包括基础模型和指令微调模型，现已向公众开放。

3. 评估结果

3.1 代码生成

	#TP	#AP	HumanEval	MBPP+	LiveCodeBench	USACO
闭源模型
Gemini-1.5-Pro	-	-	83.5	74.6	34.1	4.9
Claude-3-Opus	-	-	84.2	72.0	34.6	7.8
GPT-4-Turbo-1106	-	-	87.8	69.3	37.1	11.1
GPT-4-Turbo-0409	-	-	88.2	72.2	45.7	12.3
GPT-4o-0513	-	-	91.0	73.5	43.4	18.8
开源模型
CodeStral	22B	22B	78.1	68.2	31.0	4.6
DeepSeek-Coder-Instruct	33B	33B	79.3	70.1	22.5	4.2
Llama3-Instruct	70B	70B	81.1	68.8	28.7	3.3
DeepSeek-Coder-V2-Lite-Instruct	16B	2.4B	81.1	68.8	24.3	6.5
DeepSeek-Coder-V2-Instruct	236B	21B	90.2	76.2	43.4	12.1

3.2 代码补全

模型	#TP	#AP	RepoBench (Python)	RepoBench (Java)	HumanEval FIM
CodeStral	22B	22B	46.1	45.7	83.0
DeepSeek-Coder-Base	7B	7B	36.2	43.3	86.1
DeepSeek-Coder-Base	33B	33B	39.1	44.8	86.4
DeepSeek-Coder-V2-Lite-Base	16B	2.4B	38.9	43.3	86.4

3.3 代码修复

	#TP	#AP	Defects4J	SWE-Bench	Aider
闭源模型
Gemini-1.5-Pro	-	-	18.6	19.3	57.1
Claude-3-Opus	-	-	25.5	11.7	68.4
GPT-4-Turbo-1106	-	-	22.8	22.7	65.4
GPT-4-Turbo-0409	-	-	24.3	18.3	63.9
GPT-4o-0513	-	-	26.1	26.7	72.9
开源模型
CodeStral	22B	22B	17.8	2.7	51.1
DeepSeek-Coder-Instruct	33B	33B	11.3	0.0	54.5
Llama3-Instruct	70B	70B	16.2	-	49.2
DeepSeek-Coder-V2-Lite-Instruct	16B	2.4B	9.2	0.0	44.4
DeepSeek-Coder-V2-Instruct	236B	21B	21.0	12.7	73.7

3.4 数学推理

	#TP	#AP	GSM8K	MATH	AIME 2024	Math Odyssey
闭源模型
Gemini-1.5-Pro	-	-	90.8	67.7	2/30	45.0
Claude-3-Opus	-	-	95.0	60.1	2/30	40.6
GPT-4-Turbo-1106	-	-	91.4	64.3	1/30	49.1
GPT-4-Turbo-0409	-	-	93.7	73.4	3/30	46.8
GPT-4o-0513	-	-	95.8	76.6	2/30	53.2
开源模型
Llama3-Instruct	70B	70B	93.0	50.4	1/30	27.9
DeepSeek-Coder-V2-Lite-Instruct	16B	2.4B	86.4	61.8	0/30	44.4
DeepSeek-Coder-V2-Instruct	236B	21B	94.9	75.7	4/30	53.7

3.5 通用自然语言

基准测试	领域	DeepSeek-V2-Lite Chat	DeepSeek-Coder-V2-Lite Instruct	DeepSeek-V2 Chat	DeepSeek-Coder-V2 Instruct
BBH	英语	48.1	61.2	79.7	83.9
MMLU	英语	55.7	60.1	78.1	79.2
ARC-Easy	英语	86.1	88.9	98.1	97.4
ARC-Challenge	英语	73.4	77.4	92.3	92.8
TriviaQA	英语	65.2	59.5	86.7	82.3
NaturalQuestions	英语	35.5	30.8	53.4	47.5
AGIEval	英语	42.8	28.7	61.4	60
CLUEWSC	中文	80.0	76.5	89.9	85.9
C-Eval	中文	60.1	61.6	78.0	79.4
CMMLU	中文	62.5	62.7	81.6	80.9
Arena-Hard	-	11.4	38.1	41.6	65.0
AlpaceEval 2.0	-	16.9	17.7	38.9	36.9
MT-Bench	-	7.37	7.81	8.97	8.77
Alignbench	-	6.02	6.83	7.91	7.84

3.6 上下文窗口

在“Needle In A Haystack”（NIAH）测试中的评估结果。DeepSeek-Coder-V2 在所有上下文窗口长度上表现良好，最高可达 128K。

4. 聊天网站

您可以在 DeepSeek 官方网站上与 DeepSeek-Coder-V2 进行对话：chat.deepseek.com

5. API 平台

我们还在 DeepSeek 平台提供与 OpenAI 兼容的 API：platform.deepseek.com，并且您可以按需付费，价格极具竞争力。

6. 如何本地运行

在此，我们提供了一些使用 DeepSeek-Coder-V2-Lite 模型的示例。如果您想以 BF16 格式运行 DeepSeek-Coder-V2 进行推理，则需要 80GB*8 张 GPU。

使用 Hugging Face 的 Transformers 进行推理

您可以直接使用 Hugging Face 的 Transformers 进行模型推理。

代码补全

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
input_text = "#write a quick sort algorithm"
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

代码插入

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Base", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
input_text = """<｜fim▁begin｜>def quick_sort(arr):
    if len(arr) <= 1:
        return arr
    pivot = arr[0]
    left = []
    right = []
<｜fim▁hole｜>
        if arr[i] < pivot:
            left.append(arr[i])
        else:
            right.append(arr[i])
    return quick_sort(left) + [pivot] + quick_sort(right)<｜fim▁end｜>"""
inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_length=128)
print(tokenizer.decode(outputs[0], skip_special_tokens=True)[len(input_text):])

聊天补全

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
tokenizer = AutoTokenizer.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct", trust_remote_code=True, torch_dtype=torch.bfloat16).cuda()
messages=[
    { 'role': 'user', 'content': "write a quick sort algorithm in python."}
]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)
# tokenizer.eos_token_id 是 <｜end▁of▁sentence｜> 标记的 id
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id)
print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

完整的聊天模板可以在 Hugging Face 模型仓库中的 tokenizer_config.json 文件中找到。

聊天模板示例如下：

<｜begin▁of▁sentence｜>User: {user_message_1}

Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

Assistant:

您还可以添加可选的系统消息：

<｜begin▁of▁sentence｜>{system_message}

User: {user_message_1}

Assistant: {assistant_message_1}<｜end▁of▁sentence｜>User: {user_message_2}

Assistant:

在最后一轮对话中，请注意“Assistant:”后面没有空格。如果添加空格，可能会导致 16B-Lite 模型出现以下问题：

• 英文问题返回中文回答。
• 回答包含乱码。
• 回答过度重复。

Ollama 的旧版本曾存在此 bug（参见 https://github.com/deepseek-ai/DeepSeek-Coder-V2/issues/12），但最新版本已修复。

使用 SGLang 进行推理（推荐）

SGLang 目前支持 MLA 优化、FP8 (W8A8)、FP8 KV 缓存以及 Torch Compile，在开源框架中提供了最佳的延迟和吞吐量。以下是启动兼容 OpenAI API 的服务器的一些示例命令：

# BF16，张量并行度 = 8
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-Coder-V2-Instruct --tp 8 --trust-remote-code

# BF16，启用 torch.compile（编译可能需要几分钟）
python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct --trust-remote-code --enable-torch-compile

# FP8，张量并行度 = 8，FP8 KV 缓存
python3 -m sglang.launch_server --model neuralmagic/DeepSeek-Coder-V2-Instruct-FP8 --tp 8 --trust-remote-code --kv-cache-dtype fp8_e5m2

启动服务器后，您可以使用 OpenAI API 进行查询：

import openai
client = openai.Client(
    base_url="http://127.0.0.1:30000/v1", api_key="EMPTY")

# 聊天补全
response = client.chat.completions.create(
    model="default",
    messages=[
        {"role": "system", "content": "You are a helpful AI assistant"},
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)
print(response)

使用 vLLM 进行推理（推荐）

要使用 vLLM 进行模型推理，请将此 Pull Request 合并到您的 vLLM 代码库中：https://github.com/vllm-project/vllm/pull/4650。

from transformers import AutoTokenizer
from vllm import LLM, SamplingParams

max_model_len, tp_size = 8192, 1
model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
llm = LLM(model=model_name, tensor_parallel_size=tp_size, max_model_len=max_model_len, trust_remote_code=True, enforce_eager=True)
sampling_params = SamplingParams(temperature=0.3, max_tokens=256, stop_token_ids=[tokenizer.eos_token_id])

messages_list = [
    [{"role": "user", "content": "Who are you?"}],
    [{"role": "user", "content": "write a quick sort algorithm in python."}],
    [{"role": "user", "content": "Write a piece of quicksort code in C++."}],
]

prompt_token_ids = [tokenizer.apply_chat_template(messages, add_generation_prompt=True) for messages in messages_list]

outputs = llm.generate(prompt_token_ids=prompt_token_ids, sampling_params=sampling_params)

generated_text = [output.outputs[0].text for output in outputs]
print(generated_text)

7. 许可证

本代码仓库采用 MIT 许可证 许可。DeepSeek-Coder-V2 Base/Instruct 模型的使用受 模型许可证 约束。DeepSeek-Coder-V2 系列（包括 Base 和 Instruct）支持商业用途。

8. 引用

@article{zhu2024deepseek,
  title={DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence},
  author={Zhu, Qihao and Guo, Daya and Shao, Zhihong and Yang, Dejian and Wang, Peiyi and Xu, Runxin and Wu, Y and Li, Yukun and Gao, Huazuo and Ma, Shirong and others},
  journal={arXiv preprint arXiv:2406.11931},
  year={2024}
}

9. 联系方式

如果您有任何疑问，请提交 issue 或联系我们的邮箱 service@deepseek.com。

DeepSeek-Coder-V2 快速上手指南

DeepSeek-Coder-V2 是一款开源的混合专家（MoE）代码语言模型，在代码生成、补全及数学推理任务上表现卓越，支持 338 种编程语言和 128K 上下文长度。本指南将帮助您快速部署并使用该模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04+) 或 macOS。
• Python 版本: 3.8 或更高版本。
• GPU 显存:
  • DeepSeek-Coder-V2-Lite (16B/2.4B 激活): 建议至少 24GB 显存（使用量化后可更低）。
  • DeepSeek-Coder-V2 (236B/21B 激活): 需要多卡并行或高显存服务器（建议使用 vLLM 或框架原生分布式推理）。
• 前置依赖:
  • pip (包管理工具)
  • git
  • cuda (如需 GPU 加速，建议版本 11.8 或 12.1+)

2. 安装步骤

推荐使用 pip 安装必要的依赖库。为了获得最佳推理速度，建议安装 vllm 或 transformers。

基础依赖安装

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install transformers accelerate sentencepiece protobuf

可选：高性能推理引擎 (推荐)

对于生产环境或大模型推理，强烈建议安装 vllm 以获得更高的吞吐量：

pip install vllm

提示：国内用户若下载缓慢，可配置清华源或阿里源加速： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

3. 基本使用

方式一：使用 Hugging Face Transformers (最简单)

此方法适合快速测试和轻量级应用。以下示例以 DeepSeek-Coder-V2-Lite-Instruct 为例。

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

# 1. 加载模型和分词器
# 模型名称可根据需求替换为 deepseek-ai/DeepSeek-Coder-V2-Instruct (236B)
model_name = "deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_name, 
    torch_dtype=torch.bfloat16, 
    device_map="auto",
    trust_remote_code=True
)

# 2. 构建输入提示 (Prompt)
# DeepSeek-Coder-V2 遵循标准的指令格式
prompt = """<|begin_of_sentence|>You are an expert Python programmer. Please write a function to calculate the fibonacci sequence.
<|user|>
Write a python function for fibonacci.
<|assistant|>
"""

# 3. 生成代码
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs, 
    max_new_tokens=512, 
    do_sample=False, 
    temperature=0.0, 
    top_p=1.0
)

# 4. 解码并打印结果
result = tokenizer.decode(outputs[0], skip_special_tokens=False)
print(result)

方式二：使用 vLLM 进行高效推理

如果您需要处理高并发请求或使用完整的 236B 模型，请使用 vLLM 启动服务。

启动 API 服务：

# Lite 版本示例
python -m vllm.entrypoints.api_server \
    --model deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct \
    --trust-remote-code \
    --port 8000

# 完整版本示例 (需多卡环境)
# python -m vllm.entrypoints.api_server \
#     --model deepseek-ai/DeepSeek-Coder-V2-Instruct \
#     --trust-remote-code \
#     --tensor-parallel-size 8 \
#     --port 8000

调用示例 (curl)：

curl http://localhost:8000/generate \
    -d '{
        "prompt": "<|begin_of_sentence|>You are a coding assistant.<|user|>Sort this list in Python: [3, 1, 4]<|assistant|>",
        "max_tokens": 200,
        "temperature": 0
    }'

模型下载说明

所有模型权重均托管在 Hugging Face。您可以直接通过代码自动下载，或手动访问以下地址：

• Lite 版 (16B): DeepSeek-Coder-V2-Lite-Instruct
• 完整版 (236B): DeepSeek-Coder-V2-Instruct

注意：使用前请仔细阅读并同意对应的 代码许可证 (MIT) 和 模型协议。