---

你好，DeepSeek 开放基础设施！

202505 行业赛道论文（ISCA25）

DeepSeek-V3 洞察：扩展挑战与面向 AI 架构的硬件思考

📄 Arxiv 论文链接

202504 【DeepSeek 推理引擎开源之路】(OpenSourcing_DeepSeek_Inference_Engine/README.md)

202502 开源周

我们是 @deepseek-ai 的一支小团队，在 AGI 探索的路上不断突破自我。

从 本周 开始，即 2025 年 2 月 24 日起，我们将每天发布一个开源项目，连续五天，总共开源五个仓库。这并不是因为我们有过什么宏大的承诺，而只是作为开发者，以完全透明的方式分享我们虽小但真诚的进步。

这些是我们在线服务的基础组件：有完整的文档、已在生产环境中部署并经过实战检验。没有空中楼阁式的炒作，只有真正推动我们这个渺小却充满雄心的梦想向前迈进的代码。

为什么？因为每一段共享的代码，都会汇聚成集体的力量，加速整个进程。每日解锁即将开始。没有高高在上的象牙塔，只有纯粹的车库精神和社区驱动的创新 🔧

敬请期待——让我们一起公开地交流技术心得吧。

第一天 - FlashMLA

适用于 Hopper GPU 的高效 MLA 解码内核
针对变长序列优化，已在生产环境中经受考验

🔗 FlashMLA GitHub 仓库
✅ 支持 BF16 数据类型
✅ 分页 KV 缓存（块大小 64）
⚡ 性能：内存带宽极限 3000 GB/s | BF16 计算带宽极限 580 TFLOPS（H800 上）

第二天 - DeepEP

我们很高兴推出 DeepEP —— 首个用于 MoE 模型训练与推理的开源 EP 通信库。

🔗 DeepEP GitHub 仓库
✅ 高效优化的全互连通信
✅ 同时支持节点内与节点间通信，兼容 NVLink 和 RDMA
✅ 高吞吐量内核，适用于训练与推理预填充阶段
✅ 低延迟内核，专为推理解码设计
✅ 原生 FP8 调度支持
✅ 灵活的 GPU 资源控制，实现计算与通信重叠

第三天 - DeepGEMM

隆重推出 DeepGEMM —— 一款同时支持密集 GEMM 和 MoE GEMM 的 FP8 GEMM 库，为 V3/R1 的训练与推理提供动力。

🔗 DeepGEMM GitHub 仓库
⚡ 在 Hopper GPU 上最高可达 1350+ FP8 TFLOPS
✅ 无繁重依赖，简洁如教程示例
✅ 完全即时编译
✅ 核心逻辑仅约 300 行，却在大多数矩阵尺寸上超越专家调优的内核
✅ 支持密集布局及两种 MoE 布局

第四天 - 优化的并行策略

✅ DualPipe —— 一种双向流水线并行算法，用于 V3/R1 训练中的计算与通信重叠。
🔗 GitHub 仓库

✅ EPLB —— V3/R1 专用的专家级负载均衡器。
🔗 GitHub 仓库

📊 分析 V3/R1 中计算与通信的重叠情况。
🔗 GitHub 仓库

第五天 - 3FS，DeepSeek 数据访问的强力引擎

Fire-Flyer 文件系统（3FS） —— 一种充分利用现代 SSD 和 RDMA 网络带宽的并行文件系统。

⚡ 在 180 节点集群中，总读取吞吐量达 6.6 TiB/s
⚡ 在 25 节点集群中，GraySort 基准测试的吞吐量为 3.66 TiB/min
⚡ 每个客户端节点对 KVCache 查找的峰值吞吐量超过 40 GiB/s
🧬 分离式架构，具备强一致性语义
✅ 用于 V3/R1 的训练数据预处理、数据集加载、检查点保存与加载、嵌入向量搜索以及推理中的 KVCache 查找

📥 3FS → 🔗GitHub 仓库
⛲ Smallpond —— 基于 3FS 的数据处理框架 → 🔗GitHub 仓库

第六天 - 还有一件事：DeepSeek-V3/R1 推理系统概览

通过以下方式优化吞吐量与延迟：
🔧 跨节点 EP 驱动的批量扩展
🔄 计算与通信重叠
⚖️ 负载均衡

V3/R1 在线服务的实际运行数据：
⚡ 每个 H800 节点每秒可处理 73.7k 输入/14.8k 输出标记
🚀 成本利润率高达 545%

💡 我们希望本周的分享能为社区带来价值，并助力我们共同的 AGI 目标。

📖 深度解析：🔗第六天 - 还有一件事：DeepSeek-V3/R1 推理系统概览
📖 中文版：🔗DeepSeek-V3 / R1 推理系统概览

2024 AI 基础设施论文（SC24）

Fire-Flyer AI-HPC：面向深度学习的高性价比软硬件协同设计

📄 论文链接
📄 Arxiv 论文链接

open-infra-index 快速上手指南

open-infra-index 并非单一软件包，而是 DeepSeek AI 开源基础设施系列的索引门户。它汇总了支撑 DeepSeek-V3/R1 模型训练与推理的核心组件（如 FlashMLA, DeepEP, DeepGEMM, 3FS 等）。

本指南将指导你如何根据需求选择并部署这些核心组件。由于各组件功能独立，请根据你的具体场景（如 MoE 通信、FP8 计算或高性能存储）选择对应的仓库进行安装。

环境准备

大多数 DeepSeek 基础设施组件专为现代 NVIDIA GPU 架构设计，特别是 Hopper (H800/H100) 系列，部分支持 Ampere。

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04 或 CentOS 7+)
• GPU: NVIDIA Hopper (H800/H100) 或 Ampere (A100/A800)
• CUDA: 12.0 或更高版本
• 编译器: GCC 9+ 或 compatible with CUDA toolkit
• 网络: 如需多机通信（DeepEP），需配置 NVLink 和 RDMA (InfiniBand/RoCE)

前置依赖

确保已安装以下基础工具：

# 更新包管理器并安装基础依赖 (Ubuntu 示例)
sudo apt-get update
sudo apt-get install -y git cmake build-essential libnuma-dev libibverbs-dev

# 验证 CUDA 安装
nvcc --version
nvidia-smi

提示：国内开发者建议使用清华源或阿里源加速 apt 和 pip 包的下载。

安装步骤

由于该索引包含多个独立项目，请选择你需要的组件克隆并安装。以下以核心计算库 DeepGEMM 和通信库 DeepEP 为例。

1. 获取代码

# 克隆所需的具体仓库 (以 DeepGEMM 为例)
git clone https://github.com/deepseek-ai/DeepGEMM.git
cd DeepGEMM

# 或者克隆 DeepEP
# git clone https://github.com/deepseek-ai/DeepEP.git
# cd DeepEP

加速建议：如果 GitHub 访问缓慢，可使用国内镜像站（如 Gitee 镜像，若有）或通过代理加速克隆。

2. 安装 Python 依赖

建议使用虚拟环境（conda 或 venv）以避免冲突。

# 创建并激活虚拟环境
conda create -n deepseek-infra python=3.10 -y
conda activate deepseek-infra

# 安装核心依赖 (PyTorch 需匹配你的 CUDA 版本)
# 推荐使用 PyTorch 官方提供的 CUDA 12.x 版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# 安装项目特定依赖
pip install -r requirements.txt

3. 编译与构建

大多数底层算子库需要即时编译 (JIT) 或手动构建 C++/CUDA 扩展。

对于 DeepGEMM (JIT 模式): 无需额外编译步骤，首次运行时会自动 JIT 编译内核。确保 nvcc 在路径中即可。

对于 DeepEP (需手动构建):

# 安装开发依赖
pip install ninja packaging

# 构建扩展
python setup.py build_ext --inplace

对于 3FS (文件系统): 3FS 是一个独立的并行文件系统，需要在操作系统层面部署，而非简单的 pip 安装。请参考其仓库中的 docs/build.md 进行源码编译和集群配置。

基本使用

以下展示如何在 Python 中调用核心组件的最简示例。

示例 1: 使用 DeepGEMM 进行 FP8 矩阵乘法

DeepGEMM 提供了简洁的 API 来执行高性能 FP8 GEMM 操作。

import torch
import deep_gemm

# 准备输入张量 (FP8 格式)
# 注意：实际使用时需根据模型权重形状调整维度
M, N, K = 1024, 1024, 1024
a = torch.randn((M, K), dtype=torch.float8_e4m3fn, device='cuda')
b = torch.randn((N, K), dtype=torch.float8_e4m3fn, device='cuda').t()

# 执行矩阵乘法
# deep_gemm.gemm_fp8_fp8_bf16 是核心接口
c = deep_gemm.gemm_fp8_fp8_bf16(a, b)

print(f"Output shape: {c.shape}, dtype: {c.dtype}")

示例 2: 使用 DeepEP 进行 MoE 通信

DeepEP 用于处理专家并行（Expert Parallelism）中的 All-to-All 通信。

import torch
import deep_ep

# 初始化通信组 (假设已在 torch.distributed 环境中)
# 此处仅为伪代码示意，实际需配合 distributed training 脚本
buffer = deep_ep.Buffer(
    group=None,  # 替换为实际的 process_group
    num_max_dispatch_tokens_per_rank=1024,
    num_experts=128,
    rank=0,      # 当前 GPU rank
    world_size=1 # 总 GPU 数
)

# 模拟局部令牌数据
local_tokens = torch.randn(100, 1024, dtype=torch.bfloat16, device='cuda')
expert_indices = torch.randint(0, 128, (100,), device='cuda')

# 执行 dispatch (发送数据到对应专家)
received_tokens, received_indices, handle = buffer.dispatch(
    local_tokens, 
    expert_indices=expert_indices
)

print(f"Dispatched tokens shape: {received_tokens.shape}")

示例 3: 集成 FlashMLA (注意力解码)

FlashMLA 通常作为底层 Kernel 被推理引擎调用，直接调用示例如下：

# FlashMLA 主要优化变长序列的 MLA 解码
# 具体调用方式依赖于集成的推理框架 (如 vLLM 或自研引擎)
# 以下为概念性调用示意
from flash_mla import flash_mla_func

# q, kv, seqlens 等参数需严格对齐 Hopper 架构要求
output = flash_mla_func(q, kv, seqlens, causal=True)

注意：生产环境中，这些组件通常被封装在完整的推理服务（如 DeepSeek 开源的推理引擎）中。单独使用时，请严格参考各仓库 examples/ 目录下的测试脚本以获取最新的参数配置。