📘文档 | 🛠️安装 | 👀模型库 | 🆕更新消息 | 🚀正在进行的项目 | 🤔提交问题

英语 | 简体中文

最新动态

MMGeneration 已合并到 MMEditing 中，并新增了多项生成任务和模型。以下是主要的新特性：

• 🌟 文本到图像生成

  • ✅ GLIDE
  • ✅ Disco-Diffusion
  • ✅ Stable-Diffusion

• 🌟 3D感知生成

  • ✅ EG3D

简介

MMGeneration 是一个功能强大的生成模型工具箱，尤其适用于当前的 GAN 模型。它基于 PyTorch 和 MMCV 构建。主分支支持 PyTorch 1.5 及以上版本。

主要特性

• 高质量训练性能： 目前支持无条件 GAN、内部 GAN 和图像翻译模型的训练。条件模型的支持也将很快推出。
• 强大的应用工具包： 为用户提供了丰富的 GAN 应用工具包，包括 GAN 插值、GAN 投影和 GAN 操控等功能。现在正是玩转你的 GAN 的时候！（应用教程）
• 高效的生成模型分布式训练： 针对生成模型高度动态的训练特点，我们采用了一种新的方式，通过 MMDDP 来训练动态模型。（DDP 教程）
• 全新的模块化设计，灵活组合： 提出了用于自定义模块间连接的复杂损失模块设计，可实现不同模块之间的灵活组合。（新模块化设计教程）

训练可视化	GAN 插值	GAN 投影器	GAN 操控

亮点

• GAN 中的空间归纳偏置——位置编码（CVPR2021） 已在 MMGeneration 中发布。[配置]，[项目页面]
• 我们的工具箱现已支持条件 GAN。更多方法和预训练权重将很快推出。
• StyleGAN2 已支持混合精度训练（FP16）。请查看不同实现之间的 比较。

更改记录

v0.7.3 于 2023年4月14日发布。详细信息及发布历史请参阅 changelog.md。

安装

MMGeneration 依赖于 PyTorch 和 MMCV。 以下是快速安装步骤。

步骤 1. 按照 官方说明 安装 PyTorch，例如：

pip3 install torch torchvision

步骤 2. 使用 MIM 安装 MMCV。

pip3 install openmim
mim install mmcv-full

步骤 3. 从源码安装 MMGeneration。

git clone https://github.com/open-mmlab/mmgeneration.git
cd mmgeneration
pip3 install -e .

更多详细说明请参阅 get_started.md。

快速入门

有关 MMGeneration 的基本使用方法，请参阅 get_started.md。docs/en/quick_run.md 提供了快速运行的完整指南。更多详细信息和教程，请访问我们的 文档。

模型库

这些方法已在我们的框架中得到仔细研究和支持：

无条件GANs（点击收起）

• ✅ DCGAN (ICLR'2016)
• ✅ WGAN-GP (NIPS'2017)
• ✅ LSGAN (ICCV'2017)
• ✅ GGAN (arXiv'2017)
• ✅ PGGAN (ICLR'2018)
• ✅ StyleGANV1 (CVPR'2019)
• ✅ StyleGANV2 (CVPR'2020)
• ✅ StyleGANV3 (NeurIPS'2021)
• ✅ GAN中的位置编码 (CVPR'2021)

条件GANs（点击收起）

• ✅ SNGAN (ICLR'2018)
• ✅ 投影GAN (ICLR'2018)
• ✅ SAGAN (ICML'2019)
• ✅ BIGGAN/BIGGAN-DEEP (ICLR'2019)

GAN技巧（点击收起）

• ✅ ADA (NeurIPS'2020)

图像到图像转换（点击收起）

• ✅ Pix2Pix (CVPR'2017)
• ✅ CycleGAN (ICCV'2017)

内部学习（点击收起）

• ✅ SinGAN (ICCV'2019)

去噪扩散概率模型（点击收起）

• ✅ 改进的DDPM (arXiv'2021)

相关应用

• ✅ MMGEN-FaceStylor

贡献

我们感谢所有对MMGeneration的改进贡献。有关贡献指南的更多详细信息，请参阅MMCV中的CONTRIBUTING.md。

引用

如果您在研究中发现本项目有用，请考虑引用：

@misc{2021mmgeneration,
    title={{MMGeneration}: OpenMMLab生成模型工具箱及基准},
    author={MMGeneration贡献者},
    howpublished = {\url{https://github.com/open-mmlab/mmgeneration}},
    year={2021}
}

许可证

本项目采用Apache 2.0许可证发布。MMGeneration中的一些操作使用了除Apache 2.0之外的其他许可证。如果您将我们的代码用于商业用途，请参阅LICENSES.md以进行仔细检查。

OpenMMLab中的项目

• MMCV: OpenMMLab计算机视觉基础库。
• MIM: MIM用于安装OpenMMLab软件包。
• MMClassification: OpenMMLab图像分类工具箱及基准。
• MMDetection: OpenMMLab检测工具箱及基准。
• MMDetection3D: OpenMMLab下一代通用3D目标检测平台。
• MMRotate: OpenMMLab旋转目标检测工具箱及基准。
• MMSegmentation: OpenMMLab语义分割工具箱及基准。
• MMOCR: OpenMMLab文本检测、识别和理解工具箱。
• MMPose: OpenMMLab姿态估计工具箱及基准。
• MMHuman3D: OpenMMLab 3D人体参数化模型工具箱及基准。
• MMSelfSup: OpenMMLab自监督学习工具箱及基准。
• MMRazor: OpenMMLab模型压缩工具箱及基准。
• MMFewShot: OpenMMLab少样本学习工具箱及基准。
• MMAction2: OpenMMLab下一代动作理解工具箱及基准。
• MMTracking: OpenMMLab视频感知工具箱及基准。
• MMFlow: OpenMMLab光流工具箱及基准。
• MMEditing: OpenMMLab图像和视频编辑工具箱。
• MMGeneration: OpenMMLab图像和视频生成模型工具箱。
• MMDeploy: OpenMMLab模型部署框架。

MMGeneration 快速上手指南

MMGeneration 是 OpenMMLab 推出的强大生成式模型工具箱，专注于 GANs（生成对抗网络）及扩散模型等任务。基于 PyTorch 和 MMCV 构建，支持高质量训练、分布式训练及丰富的应用工具（如插值、投影、操控等）。

注意：MMGeneration 的核心功能已合并至 MMEditing 1.x 版本中，并新增了 Text2Image（如 Stable-Diffusion, GLIDE）和 3D 感知生成（如 EG3D）等前沿任务。本指南基于原版 MMGeneration 仓库提供基础安装与使用流程。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐), Windows, macOS
• Python: 3.7+
• PyTorch: 1.5+ (建议根据 CUDA 版本选择对应的 PyTorch)
• CUDA: 可选，用于 GPU 加速训练

安装步骤

推荐使用 pip 配合国内镜像源进行安装，以提升下载速度。

第一步：安装 PyTorch

请访问 PyTorch 官网 获取适合您环境的安装命令。以下为通用示例：

pip3 install torch torchvision -i https://pypi.tuna.tsinghua.edu.cn/simple

第二步：安装 MMCV

使用 OpenMMLab 提供的包管理工具 MIM 安装 MMCV（自动处理依赖关系）：

pip3 install openmim -i https://pypi.tuna.tsinghua.edu.cn/simple
mim install mmcv-full

第三步：安装 MMGeneration

从源码安装以获取最新功能：

git clone https://github.com/open-mmlab/mmgeneration.git
cd mmgeneration
pip3 install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

安装完成后，您可以参考以下流程快速运行一个预训练模型或开始训练。

1. 推理示例 (Inference)

使用预训练的 StyleGAN2 模型生成图像。您需要先下载对应的配置文件和权重文件（可在 Model Zoo 获取）。

假设已准备好 styleganv2_ffhq_256_b8_g8_1600k.py (配置文件) 和 styleganv2_ffhq_256_b8_g8_1600k.pth (权重文件)：

from mmgen.apis import init_model, sample_unconditional_model

# 初始化模型
config_file = 'configs/styleganv2/styleganv2_ffhq_256_b8_g8_1600k.py'
checkpoint_file = 'path/to/styleganv2_ffhq_256_b8_g8_1600k.pth'
model = init_model(config_file, checkpoint_file, device='cuda:0')

# 生成图像 (生成 8 张 256x256 的图片)
results = sample_unconditional_model(model, num_samples=8, save_path='./results.png')

2. 训练示例 (Training)

使用单卡或多卡启动训练。以下命令演示如何使用默认配置训练 DCGAN 模型：

# 单卡训练
python tools/train.py configs/dcgan/dcgan_64x64_128_batch1x1_12m_kitti.py

# 多卡训练 (例如使用 8 张 GPU)
./tools/dist_train.sh configs/dcgan/dcgan_64x64_128_batch1x1_12m_kitti.py 8

3. 更多资源

• 完整文档: https://mmgeneration.readthedocs.io/
• 快速运行指南: docs/en/quick_run.md
• 模型库: 查看支持的无条件 GAN、条件 GAN、图像翻译及扩散模型列表。