DeepSeek-V3.2-Exp

---

简介

我们很高兴地宣布正式发布DeepSeek-V3.2-Exp，这是我们模型的一个实验性版本。作为迈向下一代架构的中间步骤，V3.2-Exp在V3.1-Terminus的基础上引入了DeepSeek稀疏注意力机制——一种旨在探索和验证长上下文场景下训练与推理效率优化的稀疏注意力机制。

此次实验性发布代表了我们在更高效Transformer架构方面的持续研究，尤其专注于提升处理长文本序列时的计算效率。

• DeepSeek稀疏注意力（DSA）首次实现了细粒度的稀疏注意力，在几乎保持相同模型输出质量的同时，显著提升了长上下文场景下的训练和推理效率。

• 为了严格评估引入稀疏注意力的影响，我们特意将DeepSeek-V3.2-Exp的训练配置与V3.1-Terminus对齐。在多个领域的公开基准测试中，DeepSeek-V3.2-Exp的表现与V3.1-Terminus相当。

基准测试	DeepSeek-V3.1-Terminus	DeepSeek-V3.2-Exp
无工具使用推理模式
MMLU-Pro	85.0	85.0
GPQA-Diamond	80.7	79.9
人类终极考试	21.7	19.8
LiveCodeBench	74.9	74.1
AIME 2025	88.4	89.3
HMMT 2025	86.1	83.6
Codeforces	2046	2121
Aider-Polyglot	76.1	74.5
代理式工具使用
BrowseComp	38.5	40.1
BrowseComp-zh	45.0	47.9
SimpleQA	96.8	97.1
SWE Verified	68.4	67.8
SWE-bench多语言版	57.8	57.9
Terminal-bench	36.7	37.7

更新

• 2025年11月17日：我们发现先前版本的推理演示代码在索引器模块中的旋转位置嵌入（RoPE）实现上存在差异，可能导致模型性能下降。 具体来说，索引器模块中输入到RoPE的张量需要非交错布局，而MLA模块中的RoPE则期望交错布局。该问题现已解决。请参考更新后的推理演示代码，并注意这一实现细节。

开源内核

对于具有更好可读性和研究目的设计的TileLang内核，请参阅TileLang。

对于高性能CUDA内核，索引器逻辑值内核（包括分页版本）可在DeepGEMM中找到。稀疏注意力内核则发布在FlashMLA中。

如何本地运行

HuggingFace

我们在inference文件夹中提供了更新后的推理演示代码，以帮助社区快速上手我们的模型并理解其架构细节。

首先将Hugging Face模型权重转换为我们的推理演示所需的格式。设置MP以匹配您可用的GPU数量：

cd inference
export EXPERTS=256
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}

启动交互式聊天界面，开始探索DeepSeek的能力：

export CONFIG=config_671B_v3.2.json
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

SGLang

使用Docker安装

# H200
docker pull lmsysorg/sglang:dsv32

# MI350
docker pull lmsysorg/sglang:dsv32-rocm

# NPU
docker pull lmsysorg/sglang:dsv32-a2
docker pull lmsysorg/sglang:dsv32-a3

启动命令

python -m sglang.launch_server --model deepseek-ai/DeepSeek-V3.2-Exp --tp 8 --dp 8 --enable-dp-attention

vLLM

vLLM为DeepSeek-V3.2-Exp提供开箱即用的支持。有关最新详情，请参阅食谱。

许可证

本仓库及模型权重采用MIT许可证授权。

引用

@misc{deepseekai2024deepseekv32,
      title={DeepSeek-V3.2-Exp：借助DeepSeek稀疏注意力提升长上下文效率}, 
      author={DeepSeek-AI},
      year={2025},
}

联系方式

如有任何问题，请提交issue或通过service@deepseek.com联系我们。

DeepSeek-V3.2-Exp 快速上手指南

DeepSeek-V3.2-Exp 是 DeepSeek 推出的实验性模型版本，引入了 DeepSeek Sparse Attention (DSA) 机制，旨在显著提升长上下文场景下的训练与推理效率，同时保持与 V3.1-Terminus 相当的模型输出质量。

环境准备

系统要求

• GPU: 推荐 NVIDIA H200、MI350 或国产昇腾 NPU (A2/A3)。
• 显存: 根据模型并行度配置，建议多卡环境运行。
• 操作系统: Linux (Ubuntu 20.04+ 推荐)。
• Python: 3.8 及以上版本。
• 框架依赖: PyTorch, CUDA Toolkit (版本需与显卡驱动匹配)。

前置依赖

确保已安装 git, python3-pip, 以及对应的深度学习框架基础环境。若使用 Docker 方案（推荐），只需安装 Docker 引擎即可。

安装步骤

本项目提供三种主要运行方式：原生 HuggingFace 权重转换、SGLang 部署（推荐高性能场景）和 vLLM 部署。

方案一：使用 SGLang (推荐，支持多种硬件加速)

SGLang 提供了针对该模型优化的 Docker 镜像，是最简便的部署方式。

1. 拉取 Docker 镜像 根据您的硬件选择对应的镜像：

# NVIDIA H200
docker pull lmsysorg/sglang:dsv32

# AMD MI350
docker pull lmsysorg/sglang:dsv32-rocm

# 昇腾 NPU (A2/A3)
docker pull lmsysorg/sglang:dsv32-a2
docker pull lmsysorg/sglang:dsv32-a3

2. 启动服务 运行以下命令启动推理服务器（示例为 8 张卡并行）：

python -m sglang.launch_server --model deepseek-ai/DeepSeek-V3.2-Exp --tp 8 --dp 8 --enable-dp-attention

方案二：使用 vLLM

vLLM 已提供对 DeepSeek-V3.2-Exp 的原生支持（Day-0 support）。

请参考官方最新部署食谱获取详细配置： https://docs.vllm.ai/projects/recipes/en/latest/DeepSeek/DeepSeek-V3_2-Exp.html

方案三：本地源码运行 (HuggingFace 权重)

如果您需要研究模型架构细节或使用原生 PyTorch 推理，请按以下步骤操作。

1. 克隆仓库并进入目录

git clone https://github.com/deepseek-ai/DeepSeek-V3.2-Exp.git
cd DeepSeek-V3.2-Exp/inference

2. 安装 Python 依赖 (注：具体依赖列表请参考仓库内的 requirements.txt)

3. 转换模型权重 将 HuggingFace 格式的权重转换为推理所需的格式。请设置 MP 为您的 GPU 数量，EXPERTS 通常为 256。

export EXPERTS=256
export MP=8  # 替换为您实际的 GPU 数量
python convert.py --hf-ckpt-path ${HF_CKPT_PATH} --save-path ${SAVE_PATH} --n-experts ${EXPERTS} --model-parallel ${MP}

基本使用

交互式对话 (原生源码方式)

权重转换完成后，使用 torchrun 启动交互式聊天界面：

export CONFIG=config_671B_v3.2.json
torchrun --nproc-per-node ${MP} generate.py --ckpt-path ${SAVE_PATH} --config ${CONFIG} --interactive

启动后，您即可在终端中输入提示词与模型进行对话。

API 调用 (SGLang/vLLM 方式)

若使用 SGLang 或 vLLM 启动服务，模型将自动暴露 HTTP API 端点（默认通常为 http://localhost:30000 或 8000）。您可以使用标准的 OpenAI 兼容客户端或 curl 进行测试：

curl http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "deepseek-ai/DeepSeek-V3.2-Exp",
    "messages": [{"role": "user", "content": "你好，请介绍一下 DeepSeek-V3.2-Exp 的特点。"}]
  }'

注意：2025.11.17 更新指出，旧版推理代码中 Indexer 模块的 RoPE 实现存在布局问题（非交错 vs 交错），可能导致性能下降。请务必使用仓库中最新更新的 inference 文件夹代码。