---

模型下载 | 评估结果 | 快速入门 | 许可协议 | 引用

论文链接👁️

1. 简介

DeepSeekMath以DeepSeek-Coder-v1.5 7B为基础进行初始化，并在来自Common Crawl的数学相关数据上继续预训练，同时结合自然语言和代码数据，总计达到5000亿个token。DeepSeekMath 7B在不依赖外部工具包和投票技术的情况下，在竞赛级别的MATH基准测试中取得了令人印象深刻的**51.7%**得分，接近Gemini-Ultra和GPT-4的性能水平。出于研究目的，我们向公众发布了基础模型、指令微调模型和强化学习模型的检查点。

2. 评估结果

DeepSeekMath-Base 7B

我们对DeepSeekMath-Base 7B的数学能力进行了全面评估，重点关注其在不依赖外部工具的情况下生成独立数学解题过程的能力、使用工具解决数学问题的能力以及进行形式化定理证明的能力。此外，我们还提供了该基础模型更为通用的画像，包括其自然语言理解、推理和编程技能的表现。

• 带有逐步推理的数学问题求解

• 使用工具的数学问题求解

• 自然语言理解、推理和代码

综合以上表格中的评估结果，可以总结如下：

• 卓越的数学推理能力： 在竞赛级别的MATH数据集上，通过少量样本的思维链提示，DeepSeekMath-Base 7B在绝对值上比现有的开源基础模型高出10%以上，并且超越了Minerva 540B。
• 强大的工具使用能力： 继续以DeepSeekCoder-Base-7B-v1.5为基础进行预训练，使得DeepSeekMath-Base 7B能够更有效地通过编写程序来解决和证明数学问题。
• 与推理和编码性能相当： DeepSeekMath-Base 7B在推理和编码方面的表现与DeepSeekCoder-Base-7B-v1.5相当。

DeepSeekMath-Instruct 和 -RL 7B

DeepSeekMath-Instruct 7B是从DeepSeekMath-Base 7B衍生出的数学指令微调模型，而DeepSeekMath-RL 7B则是在DeepSeekMath-Instruct 7B的基础上，利用我们提出的分组相对策略优化（GRPO）算法进行训练。

我们在英语和中文的4个定量推理基准上，分别评估了无工具和有工具条件下的数学性能。如表所示，DeepSeekMath-Instruct 7B展现了强大的逐步推理能力，而DeepSeekMath-RL 7B在使用工具的情况下，其在MATH上的准确率接近60%，超越了所有现有的开源模型。

3. 数据收集

• 第一步：选择OpenWebMath，一个高质量的数学网页文本集合，作为我们训练FastText模型的初始种子语料库。
• 第二步：使用FastText模型从去重后的Common Crawl数据库中检索数学相关的网页。
• 第三步：通过统计分析识别潜在的数学相关领域。
• 第四步：手动标注这些已识别领域中与数学内容相关的URL。
• 第五步：将这些已标注URL所链接但尚未收集到的网页添加到种子语料库中。重复步骤1，直至完成四轮迭代。

经过四轮的数据收集，我们最终获得了3550万个数学网页，总计1200亿个token。

4. 模型下载

我们向公众发布了DeepSeekMath 7B，包括基础模型、指令微调模型和强化学习模型，以支持学术界和商业界更广泛、更多样化的研究。请注意，本模型的使用须遵守许可协议中的条款。在此条件下，商业用途是被允许的。

Huggingface

模型	序列长度	下载
DeepSeekMath-Base 7B	4096	🤗 HuggingFace
DeepSeekMath-Instruct 7B	4096	🤗 HuggingFace
DeepSeekMath-RL 7B	4096	🤗 HuggingFace

5. 快速入门

您可以直接使用 Huggingface 的 Transformers 进行模型推理。

文本补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-math-7b-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "The integral of x^2 from 0 to 2 is"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

聊天补全

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-math-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "what is the integral of x^2 from 0 to 2?\nPlease reason step by step, and put your final answer within \boxed{}."}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

如果您不想使用提供的 apply_chat_template 函数，也可以按照示例模板与我们的模型进行交互。请注意，messages 需要替换为您自己的输入。

User: {messages[0]['content']}

Assistant: {messages[1]['content']}<｜end▁of▁sentence｜>User: {messages[2]['content']}

Assistant:

注意： 默认情况下（add_special_tokens=True），我们的分词器会在输入文本前自动添加一个 bos_token（<｜begin▁of▁sentence｜>）。此外，由于系统提示与本版本的模型不兼容，我们不建议在输入中包含系统提示。

❗❗❗ 请使用链式思维提示来测试 DeepSeekMath-Instruct 和 DeepSeekMath-RL：

• 英文问题：{question}\nPlease reason step by step, and put your final answer within \boxed{}.

• 中文问题：{question}\n请通过逐步推理来解答问题，并把最终答案放置于\boxed{}中。

6. 许可证

此代码仓库采用 MIT 许可证。DeepSeekMath 模型的使用受模型许可证约束。DeepSeekMath 支持商业用途。

更多详情请参阅 LICENSE-CODE 和 LICENSE-MODEL。

7. 引用

@misc{deepseek-math,
  author = {Zhihong Shao, Peiyi Wang, Qihao Zhu, Runxin Xu, Junxiao Song, Mingchuan Zhang, Y.K. Li, Y. Wu, Daya Guo},
  title = {DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models},
  journal = {CoRR},
  volume = {abs/2402.03300},
  year = {2024},
  url = {https://arxiv.org/abs/2402.03300},
}

8. 联系方式

如有任何问题，请提交 issue 或发送邮件至 service@deepseek.com。

DeepSeek-Math 快速上手指南

DeepSeek-Math 是一款专为数学推理优化的开源大语言模型，基于 DeepSeek-Coder-v1.5 7B 初始化，并在海量数学相关语料上继续预训练而成。它在 MATH 基准测试中表现卓越，支持逐步推理（Chain-of-Thought）及工具调用。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python: 3.8 或更高版本
• GPU: 推荐 NVIDIA GPU，显存至少 16GB (运行 7B 模型 bf16 精度)
• 依赖库:
  • torch (建议 2.0+)
  • transformers (建议 4.37+)
  • accelerate

安装前置依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install transformers accelerate sentencepiece

提示：国内开发者若下载 PyTorch 或 HuggingFace 模型较慢，可配置国内镜像源：

• Pip 源：export PIP_INDEX_URL=https://pypi.tuna.tsinghua.edu.cn/simple
• HF 镜像：export HF_ENDPOINT=https://hf-mirror.com

2. 安装与模型下载

DeepSeek-Math 提供三种版本，请根据需求选择：

• deepseek-math-7b-base: 基座模型，适合文本补全和二次微调。
• deepseek-math-7b-instruct: 指令微调模型，适合对话和推理任务（推荐）。
• deepseek-math-7b-rl: 基于强化学习优化的模型，数学推理能力最强。

使用 transformers 库可直接加载模型，首次运行时会自动从 HuggingFace 下载权重。

3. 基本使用

场景一：文本补全 (Base 模型)

适用于续写数学解题过程或代码。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/deepseek-math-7b-base"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

text = "The integral of x^2 from 0 to 2 is"
inputs = tokenizer(text, return_tensors="pt")
outputs = model.generate(**inputs.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(result)

场景二：对话与推理 (Instruct/RL 模型)

适用于回答数学问题。关键技巧：必须使用逐步推理提示词（Chain-of-Thought），并指定输出格式为 \boxed{}。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

# 可替换为 deepseek-ai/deepseek-math-7b-rl 以获得更强推理能力
model_name = "deepseek-ai/deepseek-math-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, device_map="auto")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

# 构造提示词：问题 + 强制逐步推理指令
question = "what is the integral of x^2 from 0 to 2?"
prompt = f"{question}\nPlease reason step by step, and put your final answer within \\boxed{{}}."

messages = [
    {"role": "user", "content": prompt}
]

input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=512)

# 解码输出，跳过输入部分
result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

中文使用示例

对于中文问题，请使用以下提示词模板以确保最佳效果：

question = "计算从 0 到 2 的 x^2 的积分是多少？"
# 中文专用提示词
prompt = f"{question}\n请通过逐步推理来解答问题，并把最终答案放置于\\boxed{{}}中。"

messages = [{"role": "user", "content": prompt}]
# ... (后续生成代码同上)

注意事项：

1. 本模型不支持 System Prompt，请勿在输入中包含系统指令。
2. 默认情况下分词器会自动添加 <｜begin▁of▁sentence｜>，无需手动添加。
3. 务必保留 \boxed{} 格式要求，这是模型输出标准答案的关键触发器。