去噪扩散概率模型

这是一个使用 PyTorch 编写的用于图像生成的去噪扩散概率模型（Denoising Diffusion Probabilistic Models）实现。该实现大致遵循了 Ho 等人提供的原始代码。然而，与他们的实现不同，我的模型允许通过在残差块中引入偏置来实现类别条件控制（class conditioning）。

实验

我在 MNIST 和 CIFAR-10 数据集上训练了该模型。该模型在 MNIST 数据集上似乎收敛良好，生成了逼真的样本。然而，我尚未报告出 Ho 等人在其论文中提供的同等质量的 CIFAR-10 结果。以下是经过 2000 个 epoch 后使用线性调度（linear schedule）生成的样本：

这是 MNIST 上的一个扩散序列样本：

资源

我就扩散模型、噪声条件评分网络（NCSNs）及其在音频生成中的应用发表了一场演讲。幻灯片可在此处查看。

我还整理了一份报告，其中包含了在我看来关于去噪扩散模型主题的最关键发现。它也 在此仓库中提供。

致谢

我参考了 Phil Wang 的实现 和 官方 Tensorflow 仓库 来完成我的工作。

引用

@misc{ho2020denoising,
    title   = {Denoising Diffusion Probabilistic Models},
    author  = {Jonathan Ho and Ajay Jain and Pieter Abbeel},
    year    = {2020},
    eprint  = {2006.11239},
    archivePrefix = {arXiv},
    primaryClass = {cs.LG}
}

@inproceedings{anonymous2021improved,
    title   = {Improved Denoising Diffusion Probabilistic Models},
    author  = {Anonymous},
    booktitle = {Submitted to International Conference on Learning Representations},
    year    = {2021},
    url     = {https://openreview.net/forum?id=-NEXDKk8gZ},
    note    = {under review}
}

DDPM 快速上手指南

简介

DDPM (Denoising Diffusion Probabilistic Models) 是一个基于 PyTorch 实现的图像生成模型。该实现遵循 Ho et al. 的原始论文思路，并支持通过残差块中的偏差进行类别条件控制（class conditioning）。已在 MNIST 和 CIFAR-10 数据集上完成训练与验证。

环境准备

• 操作系统: Linux / macOS / Windows
• Python: 3.7+
• 深度学习框架: PyTorch (推荐 GPU 版本)
• 硬件: 建议配备 NVIDIA GPU 以加速训练

💡 国内加速提示：安装 PyTorch 及相关依赖时，建议使用国内镜像源以提升下载速度。

pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 获取源代码到本地目录。

   git clone <repository_url>
   cd <repository_directory>
   

2. 安装依赖 根据项目需求安装必要的 Python 包。

   pip install -r requirements.txt
   

   若未提供 requirements.txt，请确保已安装以下核心库：

   pip install torch torchvision numpy matplotlib
   

基本使用

训练模型

参考 README 中的实验部分，模型可在 MNIST 和 CIFAR-10 数据集上进行训练。通常运行主训练脚本即可开始。

python train.py --dataset mnist

注：具体参数配置请参考仓库根目录下的启动脚本或文档。

生成样本

模型支持去噪扩散序列生成。例如，在线性调度（linear schedule）下经过 2000 个 epoch 后可生成样本。

python sample.py --model_path checkpoints/model.pt

生成的样本将保存至指定目录，可参考提供的示例图片效果。

资源与引用

• 演示文稿: Diffusion Models Talk Slides
• 技术报告: Diffusion Models Report
• 主要参考文献:
  • Jonathan Ho et al., "Denoising Diffusion Probabilistic Models", arXiv:2006.11239, 2020.
  • Anonymous, "Improved Denoising Diffusion Probabilistic Models", ICLR 2021.

---

Acknowledgements: 本项目参考了 Phil Wang 的实现及官方 Tensorflow 仓库。