DeepSpeed 示例

本仓库包含多种示例，涵盖训练、推理、模型压缩、基准测试以及使用 DeepSpeed 的应用。

1. 应用

此文件夹包含端到端的应用程序，这些应用程序使用 DeepSpeed 来训练和部署前沿模型。

2. 训练

这里有多个训练和微调的示例，请参阅各个子文件夹以获取具体说明。

3. 推理

• DeepSpeed-MII 推理的 README 介绍了如何使用 DeepSpeed-MII 和 DeepSpeed-FastGen 运行模型推理。
• DeepSpeed Huggingface 推理的 README 介绍了如何开始运行 DeepSpeed Huggingface 推理示例。

4. 压缩

模型压缩示例。

5. 基准测试

所有使用 DeepSpeed 库的基准测试都维护在此文件夹中。

构建流水线状态

描述	状态
集成

贡献

本项目欢迎贡献和建议。大多数贡献都需要您签署贡献者许可协议（CLA），声明您有权并将您的贡献权利授予我们。有关详细信息，请访问 https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人会自动判断您是否需要提供 CLA，并相应地标记 PR（例如状态检查、评论）。请按照机器人提供的指示操作即可。对于使用我们 CLA 的所有仓库，您只需执行一次此操作。

本项目已采用 微软开源行为准则。如需更多信息，请参阅 行为准则常见问题解答 或发送电子邮件至 opencode@microsoft.com 提出任何其他问题或意见。

DeepSpeedExamples 快速上手指南

DeepSpeedExamples 是微软 DeepSpeed 项目的官方示例仓库，涵盖了大模型的训练、推理、压缩、基准测试及端到端应用。本指南将帮助你快速搭建环境并运行基础示例。

1. 环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• 硬件: NVIDIA GPU (支持 CUDA)，建议显存 16GB 以上以运行大型模型示例
• 软件依赖:
  • Python >= 3.8
  • CUDA Toolkit (版本需与 PyTorch 匹配)
  • Git
  • PyTorch (建议安装最新稳定版)

国内加速建议： 推荐使用清华或阿里镜像源加速 Python 包和 PyTorch 的安装。

• PyTorch 国内镜像：https://download.pytorch.org/whl/cu118 (根据实际 CUDA 版本调整)
• Pip 国内镜像：https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

第一步：克隆仓库

git clone https://github.com/deepspeedai/DeepSpeedExamples.git
cd DeepSpeedExamples

第二步：安装 DeepSpeed 核心库

你可以选择从源码安装（推荐，以获得最新特性）或使用 pip 安装预编译包。

方式 A：使用 pip 安装（快速）

# 使用国内镜像加速
pip install deepspeed -i https://pypi.tuna.tsinghua.edu.cn/simple

方式 B：从源码安装（适合需要自定义编译选项）

git clone https://github.com/deepspeedai/DeepSpeed.git
cd DeepSpeed
DS_BUILD_OPS=1 pip install . -i https://pypi.tuna.tsinghua.edu.cn/simple

注：DS_BUILD_OPS=1 会尝试编译所有优化的 CUDA 算子，可能需要较长时间且需确保已安装 cuda-toolkit 和 ninja。

第三步：安装示例特定依赖

不同的示例文件夹可能包含独立的 requirements.txt。在进入具体示例目录后，请执行：

# 以训练示例为例
cd training
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

DeepSpeedExamples 按功能模块分类，以下是两个最常用的场景示例。

场景一：运行分布式训练示例

进入 training 目录，选择一个具体的模型示例（如 bert 或 llama）。以下以运行一个简单的分布式训练脚本为例：

cd training/bert

# 使用 deepspeed 命令启动训练
# --num_gpus 指定使用的 GPU 数量
# --deepspeed 启用 DeepSpeed 优化
# --deepspeed_config 指定配置文件路径
deepspeed --num_gpus=2 train.py \
    --deepspeed \
    --deepspeed_config ds_config.json

场景二：运行高性能推理示例

进入 inference 目录，DeepSpeed 提供了基于 Hugging Face 和 MII 的推理方案。

使用 Hugging Face 集成进行推理：

cd inference/huggingface

# 运行文本生成示例
python generate.py \
    --model_name_or_path microsoft/phi-2 \
    --deepspeed \
    --dtype float16

使用 DeepSpeed-MII 进行低延迟推理：

cd inference/mii

# 部署并运行模型服务
python deploy.py \
    --model_name gpt2 \
    --deployment_name my-gpt2-deployment

提示：每个子文件夹（如 training, inference, compression）下均有详细的 README.md，包含针对该特定任务的参数说明和高级用法，请在运行前查阅对应目录的文档。