扩散模型

扩散模型原理和PyTorch代码实现初学资料汇总
如有侵权内容，请联系我删除。若能对大家有所帮助，将不胜荣幸！一个Star就是对我最大的支持，感谢！

1. 扩散模型和分数匹配模型的资源与论文汇总

https://github.com/heejkoo/Awesome-Diffusion-Models 是一个GitHub网站。

2. 三篇经典论文

• 《Deep Unsupervised Learning using Nonequilibrium Thermodynamics》 2015年 扩散模型起源
• 《Denoising Diffusion Probabilistic Models》 2020年 扩散模型兴起
  • 对应的PyTorch实现：https://github.com/lucidrains/denoising-diffusion-pytorch
• 《Improved Denoising Diffusion Probabilistic Models》 2021年 第二篇论文的改进
  • 对应的PyTorch实现：https://github.com/openai/improved-diffusion

3. 看过的扩散模型博客

• The recent rise of diffusion-based models
  • 可以了解到扩散模型近年比较经典的应用
• Introduction to Diffusion Models for Machine Learning
  • 从中可以了解到一个实现扩散模型的库denoising_diffusion_pytorch，博客中有使用案例
• What are Diffusion Models?
  • 也是扩散模型的一个理论介绍博客，推导挺详细的
• Diffusion Models as a kind of VAE
  • 探究了VAE和扩散模型的联系
• The Annotated Diffusion Model
  • 扩散模型理论和代码实现，我对代码进行了详细注释，并与理论对应，方便大家理解，详见The Annotated Diffusion Model.ipynb
• An introduction to Diffusion Probabilistic Models
  • 也是一个介绍性博客，公式也很工整

4. 看过的一个B站视频

• 54、Diffusion Model扩散模型理论与完整PyTorch代码详细解读

  • 我是看过其他资料后才看的这个视频，所以一遍都能全看懂，不知道初看怎么样

  我对代码也进行了理解并加了注释，与理论对应，方便大家理解，详见Diffusion Model.ipynb

5. 未看过的扩散模型博客

• https://jmtomczak.github.io/blog/10/10_ddgms_lvm_p2.html 扩散模型理论和代码实现
• Generative Modeling by Estimating Gradients of the Data Distribution

其他相关资料

• 机器学习-白板推导系列(十二)-变分推断（Variational Inference） 知道Lvlb等概念是什么(B站视频)
• 【学习笔记】生成模型——变分自编码器 理解VAE(博客)
• 【机器学习】白板推导系列(三十二) ～ 变分自编码器(VAE) 理解VAE(B站视频)
• https://github.com/labmlai/annotated_deep_learning_paper_implementations 有很多深度学习算法的实现
• The Annotated Transformer transformer的PyTorch实现的一个解释博客
• positional_encoding的一个实现案例 github代码
• 强烈推荐！台大李宏毅自注意力机制和Transformer详解！ B站视频
• 《Attention Is All You Need》 transformer和注意力机制原论文
• Transformer论文逐段精读【论文精读】
• 64 注意力机制【动手学深度学习v2】 我根据官方资料整理了Jupyter代码实现文件，可从头到尾直接运行，详见attention.ipynb
• Reparameterization Trick 白板推导变分推断后两节也有提到
• isotropic Gaussian distribution
• A Recipe for Training Neural Networks

Diffusion-Models 快速上手指南

本指南基于开源项目 Diffusion-Models 整理，旨在帮助开发者快速理解扩散模型原理并运行 PyTorch 代码实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.8 及以上
• 深度学习框架：PyTorch (推荐 1.9+ 版本)
• 依赖库：numpy, matplotlib, tqdm, einops 等
• 硬件建议：建议使用支持 CUDA 的 NVIDIA GPU 以加速训练和推理过程

国内加速建议：

• PyTorch 安装：推荐使用清华或中科大镜像源安装 PyTorch。
• Pip 源：配置国内 pip 源（如阿里云、清华源）以加速依赖包下载。

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆本仓库到本地：

git clone https://github.com/heejkoo/Awesome-Diffusion-Models.git
cd Awesome-Diffusion-Models

(注：原 README 主要作为资源汇总，若需运行具体代码示例，请参考其链接指向的子项目，如 lucidrains/denoising-diffusion-pytorch 或直接运行仓库内的 .ipynb 文件)

若直接运行仓库内提供的注释版代码（如 The Annotated Diffusion Model.ipynb），请安装基础依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install numpy matplotlib tqdm einops

国内用户推荐使用清华源加速安装：

pip install torch torchvision torchaudio numpy matplotlib tqdm einops -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 验证环境

确保 PyTorch 能够识别 GPU（可选）：

import torch
print(torch.cuda.is_available())

基本使用

本项目核心在于通过 Jupyter Notebook 提供带详细中文注释的代码实现，帮助理解理论。以下是两种最简单的使用方式：

方式一：运行带注释的 Notebook 示例

项目中包含了经过作者理解并添加注释的 Notebook 文件，直接对应经典论文和视频教程代码。

1. 启动 Jupyter Lab 或 Notebook：

   jupyter lab
   

2. 在浏览器中打开以下任一文件进行学习及运行：

   • The Annotated Diffusion Model.ipynb：对应 Hugging Face 博客的详细理论与代码实现。
   • Diffusion Model.ipynb：对应 B 站视频"Diffusion Model 扩散模型理论与完整 PyTorch 代码详细解读”的实现。
   • attention.ipynb：注意力机制的基础实现（前置知识）。

3. 按顺序执行单元格即可看到扩散过程可视化及生成结果。

方式二：使用第三方库快速体验 (参考 lucidrains 实现)

若希望快速调用现成的扩散模型进行实验，可安装社区流行的实现库：

pip install denoising-diffusion-pytorch -i https://pypi.tuna.tsinghua.edu.cn/simple

创建一个简单的 Python 脚本 test_diffusion.py：

from denoising_diffusion_pytorch import Unet, GaussianDiffusion

# 1. 定义模型结构
model = Unet(
    dim=64,
    dim_mults=(1, 2, 4, 8),
    channels=3
)

# 2. 定义扩散过程
diffusion = GaussianDiffusion(
    model,
    image_size=128,
    timesteps=1000,           # 扩散步数
    sampling_timesteps=50     # 采样步数
)

# 3. 模拟训练数据 (随机噪声图像)
import torch
images = torch.rand(1, 3, 128, 128)

# 4. 前向扩散 (添加噪声)
loss = diffusion(images)
loss.backward()

# 5. 反向生成 (采样新图像)
sampled_images = diffusion.sample(batch_size=1)
print(f"Generated image shape: {sampled_images.shape}")

运行脚本：

python test_diffusion.py

通过以上步骤，您即可完成环境搭建并初步体验扩散模型的代码实现。深入理论学习请参阅项目 README 中列出的经典论文及博客链接。