Hugging Face 扩散模型课程

     

在本免费课程中，你将：

• 👩‍🎓 学习扩散模型背后的理论
• 🧨 使用流行的 🤗 Diffusers 库学习如何生成图像和音频
• 🏋️‍♂️ 从头开始训练自己的扩散模型
• 📻 在新数据集上微调现有的扩散模型
• 🗺 探索条件生成与引导机制
• 🧑‍🔬 创建属于你自己的自定义扩散模型流水线

请通过 报名表单 注册，然后加入我们的 Discord 社区，开启讨论。关于如何加入特定类别/频道的说明 请见此处。

课程大纲

📆 发布日期	📘 单元	👩‍💻 动手实践
2022年11月28日	扩散模型简介	Diffusers 与从零开始构建扩散模型入门
2022年12月12日	微调与引导	在新数据上微调扩散模型并添加引导
2022年12月21日	Stable Diffusion	探索强大的文本条件化潜在扩散模型
2023年1月（待定）	用扩散模型做更多	进一步提升扩散模型效果的高级技术

更多信息即将发布！

先决条件

• 良好的 Python 技能 🐍
• 深度学习与 PyTorch 的基础知识

如果你还不具备这些条件，可以参考以下免费资源：

• Python：https://www.udacity.com/course/introduction-to-python--ud1110
• PyTorch 深度学习入门：https://www.udacity.com/course/deep-learning-pytorch--ud188
• PyTorch 60 分钟速成：https://pytorch.org/tutorials/beginner/deep_learning_60min_blitz.html

常见问题解答

这门课是免费的吗？

是的，完全免费 🥳。

我需要一个 Hugging Face 账号才能参加课程吗？

是的，为了将你自定义的模型和流水线上传到 Hugging Face Hub，你需要一个账号（免费）🤗。

你可以在这里创建账号 👉 https://huggingface.co/join

课程的形式是什么？

本课程至少包含 4 个单元。 随着时间推移，我们还会增加更多单元，例如关于音频扩散的内容。

每个单元都包含一定的理论背景知识以及一个或多个动手实践笔记本。部分单元还将提供推荐项目，并为最佳流水线和演示举办竞赛，优胜者将获得精美礼品（更多细节待定）。

🌎 语言与翻译

🤗 社区成员已经开始对本课程进行翻译！我们计划将本课程托管在 Hugging Face 官网 上，因此如果你有兴趣贡献翻译，建议等到我们将英文内容整理成最终形式后再参与。

语言	作者
中文	@darcula1993 @XhrLeokk @SuSung-boy @Hoi2022
日语	@eltociear @nazuki155
韩语	@deep-diver

Hugging Face 扩散模型课程快速上手指南

本指南基于 Hugging Face 官方开源的扩散模型课程（diffusion-models-class），旨在帮助开发者快速搭建环境并开始学习扩散模型的理论与实战。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux 以获得最佳兼容性)
• 编程语言：Python 3.8+
• 前置知识：
  • 熟练掌握 Python 编程
  • 具备深度学习基础及 PyTorch 使用经验
• 硬件建议：推荐使用配备 NVIDIA GPU 的环境以加速模型训练和推理（CPU 亦可运行部分示例，但速度较慢）
• 账号准备：注册一个免费的 Hugging Face 账号，用于推送自定义模型和 Pipeline。

💡 学习资源推荐：若需补充基础知识，可参考 PyTorch 60 分钟入门。

安装步骤

1. 克隆项目仓库

首先将课程代码克隆到本地：

git clone https://github.com/huggingface/diffusion-models-class.git
cd diffusion-models-class

2. 创建虚拟环境

建议使用 conda 或 venv 创建独立的虚拟环境：

# 使用 conda
conda create -n diffusion-course python=3.9
conda activate diffusion-course

# 或使用 venv
python -m venv diffusion-course
source diffusion-course/bin/activate  # Windows: diffusion-course\Scripts\activate

3. 安装依赖

安装课程所需的 PyTorch 及 Hugging Face 相关库。

方案 A：使用国内镜像源加速（推荐中国开发者）

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate datasets jupyter matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

(注：上述 cu118 为 CUDA 11.8 版本，请根据实际显卡驱动调整；若无 GPU，可使用 cpu 版本)

方案 B：官方标准安装

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install diffusers transformers accelerate datasets jupyter matplotlib

4. 验证安装

启动 Jupyter Notebook 以运行课程单元：

jupyter notebook

在浏览器中打开 unit1 文件夹下的笔记本来开始第一课。

基本使用

本课程的核心是通过 diffusers 库进行扩散模型的推理、微调和从头训练。以下是一个最简单的使用示例，展示如何加载预训练的 Stable Diffusion 模型并生成图像。

最简单的图像生成示例

创建一个 Python 脚本或 Jupyter 单元格，运行以下代码：

import torch
from diffusers import StableDiffusionPipeline

# 1. 加载预训练的 Stable Diffusion 模型
# 首次运行会自动下载模型权重到本地缓存
model_id = "runwayml/stable-diffusion-v1-5"
pipeline = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)

# 2. 将模型移动到 GPU (如果可用)
if torch.cuda.is_available():
    pipeline = pipeline.to("cuda")

# 3. 定义提示词并生成图像
prompt = "a photo of an astronaut riding a horse on mars"
image = pipeline(prompt).images[0]  

# 4. 保存生成的图像
image.save("astronaut_rides_horse.png")

print("图像生成成功！已保存为 astronaut_rides_horse.png")

下一步学习路径

完成环境配置后，您可以按照课程大纲逐步深入：

1. Unit 1: 学习扩散模型原理，从零构建一个简单的扩散模型。
2. Unit 2: 学习如何在自定义数据集上微调模型以及添加引导（Guidance）。
3. Unit 3: 深入探索强大的文本条件潜在扩散模型（Stable Diffusion）。
4. Unit 4: 掌握高级技巧，构建自定义的扩散模型流水线。

所有实操代码均位于各单元目录下的 .ipynb 文件中，直接在 Jupyter 中运行即可体验。