English | 简体中文

🔥 AnimeVideo-v3 模型（动漫视频小模型）。请参阅 [动漫视频模型] 和 [对比]
🔥 RealESRGAN_x4plus_anime_6B 用于动漫图像 (动漫插图模型)。请参阅 [动漫模型]

1. :boom: 更新 在线 Replicate 演示：
2. Real-ESRGAN 在线 Colab 演示： | Real-ESRGAN（动漫视频）在线 Colab 演示：
3. 便携式 Windows / Linux / MacOS 适用于 Intel/AMD/Nvidia GPU 的可执行文件。您可以在 此处 找到更多信息。ncnn 实现位于 Real-ESRGAN-ncnn-vulkan

Real-ESRGAN 旨在开发 通用图像/视频恢复的实用算法。
我们将强大的 ESRGAN 扩展为实用的恢复应用（即 Real-ESRGAN），该模型使用纯合成数据进行训练。

🌌 感谢您的宝贵反馈/建议。所有反馈均更新至 feedback.md。

---

如果 Real-ESRGAN 对您有帮助，请帮忙 ⭐ 此仓库或推荐给您身边的朋友 😊
其他推荐项目：
▶️ GFPGAN: 一种用于真实世界人脸恢复的实用算法
▶️ BasicSR: 一个开源的图像和视频恢复工具箱
▶️ facexlib: 提供有用的人脸相关函数集合。
▶️ HandyView: 一款基于 PyQt5 的图像查看器，方便查看和比较
▶️ HandyFigure: 论文图表开源项目

---

📖 Real-ESRGAN：使用纯合成数据训练真实世界盲超分辨率

[论文]   [YouTube 视频]   [B 站讲解]   [海报]   [PPT 幻灯片]
Xintao Wang, Liangbin Xie, Chao Dong, Ying Shan
腾讯 ARC 实验室; 中国科学院深圳先进技术研究院

---

🚩 更新

• ✅ 添加 realesr-general-x4v3 模型——一个适用于通用场景的小型模型。它还支持 -dn 选项以平衡噪声（避免过度平滑的结果）。-dn 是 denoising strength（去噪强度）的缩写。
• ✅ 更新 RealESRGAN AnimeVideo-v3 模型。更多详情请参见 anime video models 和 comparisons。
• ✅ 为动漫视频添加小型模型。更多详情在 anime video models。
• ✅ 添加 ncnn 实现 Real-ESRGAN-ncnn-vulkan。
• ✅ 添加 RealESRGAN_x4plus_anime_6B.pth，该模型针对 anime（动漫）图像进行了优化，且模型体积更小。更多详情及与 waifu2x 的比较见 anime_model.md。
• ✅ 支持在自有数据或配对数据上进行 finetuning（微调）（i.e., finetuning ESRGAN）。参见 此处。
• ✅ 集成 GFPGAN 以支持 face enhancement（人脸增强）。
• ✅ 已集成至 Huggingface Spaces，使用 Gradio。参见 Gradio Web Demo。感谢 @AK391。
• ✅ 支持通过 --outscale 进行任意尺度缩放（它实际上使用 LANCZOS4 进一步调整输出大小）。添加 RealESRGAN_x2plus.pth 模型。
• ✅ 推理代码 支持：1) tile（瓦片）选项；2) 带有 alpha channel（透明通道）的图像；3) gray（灰度）图像；4) 16-bit（16 位）图像。
• ✅ 训练代码已发布。详细指南可在 Training.md 中找到。

---

👀 演示视频

Bilibili

• 大闹天宫片段
• Anime dance cut 动漫魔性舞蹈
• 海贼王片段

YouTube

🔧 依赖项与安装

• Python >= 3.7（推荐使用 Anaconda 或 Miniconda）
• PyTorch >= 1.7

安装

1. 克隆仓库

   git clone https://github.com/xinntao/Real-ESRGAN.git
   cd Real-ESRGAN
   

2. 安装依赖包

   # Install basicsr - https://github.com/xinntao/BasicSR
   # We use BasicSR for both training and inference
   pip install basicsr
   # facexlib and gfpgan are for face enhancement
   pip install facexlib
   pip install gfpgan
   pip install -r requirements.txt
   python setup.py develop
   

---

⚡ 快速推理

通常有三种方式对 Real-ESRGAN 进行推理。

1. 在线推理
2. 便携式可执行文件 (NCNN)
3. Python 脚本

在线推理

1. 您可以在我们的网站上尝试：ARC Demo（目前仅支持 RealESRGAN_x4plus_anime_6B）
2. Colab Demo 用于 Real-ESRGAN | Colab Demo 用于 Real-ESRGAN（anime videos）。

便携式可执行文件 (NCNN)

您可以下载 Windows / Linux / MacOS 适用于 Intel/AMD/Nvidia GPU 的可执行文件。

此可执行文件是便携的，包含所有所需的二进制文件和模型。无需 CUDA 或 PyTorch 环境。

您可以直接运行以下命令（Windows 示例，更多信息在各可执行文件的 README.md 中）：

./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n model_name

我们提供了五个模型：

1. realesrgan-x4plus （默认）
2. realesrnet-x4plus
3. realesrgan-x4plus-anime（针对动漫图像优化，模型体积小）
4. realesr-animevideov3（动画视频）

您可以使用 -n 参数选择其他模型，例如，./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n realesrnet-x4plus

便携式可执行文件的使用

1. 请参考 Real-ESRGAN-ncnn-vulkan 了解更多详情。
2. 请注意，它不支持 python 脚本 inference_realesrgan.py 的所有功能（如 outscale）。

Usage: realesrgan-ncnn-vulkan.exe -i infile -o outfile [options]...

  -h                   show this help
  -i input-path        input image path (jpg/png/webp) or directory
  -o output-path       output image path (jpg/png/webp) or directory
  -s scale             upscale ratio (can be 2, 3, 4. default=4)
  -t tile-size         tile size (>=32/0=auto, default=0) can be 0,0,0 for multi-gpu
  -m model-path        folder path to the pre-trained models. default=models
  -n model-name        model name (default=realesr-animevideov3, can be realesr-animevideov3 | realesrgan-x4plus | realesrgan-x4plus-anime | realesrnet-x4plus)
  -g gpu-id            gpu device to use (default=auto) can be 0,1,2 for multi-gpu
  -j load:proc:save    thread count for load/proc/save (default=1:2:2) can be 1:2,2,2:2 for multi-gpu
  -x                   enable tta mode"
  -f format            output image format (jpg/png/webp, default=ext/png)
  -v                   verbose output

请注意，它可能会引入块不一致性（并且生成的结果与 PyTorch 实现略有不同），因为此可执行文件首先将输入图像裁剪为多个瓦片，然后分别处理它们，最后拼接在一起。

Python 脚本

Python 脚本用法

1. 您可以使用 X4 模型配合 outscale 参数实现任意输出尺寸。程序将在 Real-ESRGAN 输出后进一步执行轻量级缩放操作。

Usage: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile -o outfile [options]...

A common command: python inference_realesrgan.py -n RealESRGAN_x4plus -i infile --outscale 3.5 --face_enhance

  -h                   show this help
  -i --input           Input image or folder. Default: inputs
  -o --output          Output folder. Default: results
  -n --model_name      Model name. Default: RealESRGAN_x4plus
  -s, --outscale       The final upsampling scale of the image. Default: 4
  --suffix             Suffix of the restored image. Default: out
  -t, --tile           Tile size, 0 for no tile during testing. Default: 0
  --face_enhance       Whether to use GFPGAN to enhance face. Default: False
  --fp32               Use fp32 precision during inference. Default: fp16 (half precision).
  --ext                Image extension. Options: auto | jpg | png, auto means using the same extension as inputs. Default: auto

通用图像推理

下载预训练模型：RealESRGAN_x4plus.pth

wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.1.0/RealESRGAN_x4plus.pth -P weights

开始推理！

python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs --face_enhance

结果位于 results 文件夹中

动漫图像推理

预训练模型：RealESRGAN_x4plus_anime_6B
更多详情以及与 waifu2x 的对比请参见 anime_model.md

# download model
wget https://github.com/xinntao/Real-ESRGAN/releases/download/v0.2.2.4/RealESRGAN_x4plus_anime_6B.pth -P weights
# inference
python inference_realesrgan.py -n RealESRGAN_x4plus_anime_6B -i inputs

结果位于 results 文件夹中

---

BibTeX

@InProceedings{wang2021realesrgan,
    author    = {Xintao Wang and Liangbin Xie and Chao Dong and Ying Shan},
    title     = {Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic Data},
    booktitle = {International Conference on Computer Vision Workshops (ICCVW)},
    date      = {2021}
}

📧 联系方式

如果您有任何问题，请发送邮件至 xintao.wang@outlook.com 或 xintaowang@tencent.com。

🧩 使用 Real-ESRGAN 的项目

如果您在项目中开发或使用了 Real-ESRGAN，欢迎告知我。

• NCNN-Android: RealSR-NCNN-Android by tumuyan
• VapourSynth: vs-realesrgan by HolyWu
• NCNN: Real-ESRGAN-ncnn-vulkan

    图形用户界面 (GUI)

• Waifu2x-Extension-GUI by AaronFeng753
• Squirrel-RIFE by Justin62628
• Real-GUI by scifx
• Real-ESRGAN_GUI by net2cn
• Real-ESRGAN-EGUI by WGzeyu
• anime_upscaler by shangar21
• Upscayl by Nayam Amarshe and TGS963

🤗 致谢

感谢所有贡献者。

• AK391: 将 RealESRGAN 集成到 Huggingface Spaces 并使用 Gradio。参见 Gradio Web Demo。
• Asiimoviet: 将 README.md 翻译成中文（中文）。
• 2ji3150: 感谢提供的 详细且有价值的反馈/建议。
• Jared-02: 将 Training.md 翻译成中文（中文）。

Real-ESRGAN 快速上手指南

Real-ESRGAN 旨在开发通用的图像/视频恢复实用算法，基于纯合成数据训练，可将低分辨率图像/视频恢复为高分辨率。

环境准备

• Python: >= 3.7（推荐使用 Anaconda 或 Miniconda）
• 深度学习框架: PyTorch >= 1.7

安装步骤

1. 克隆仓库

   git clone https://github.com/xinntao/Real-ESRGAN.git
   cd Real-ESRGAN
   

2. 安装依赖包

   # 安装 basicsr（训练和推理通用）
   pip install basicsr
   # 面部增强相关库
   pip install facexlib
   pip install gfpgan
   # 安装其他依赖并进入开发模式
   pip install -r requirements.txt
   python setup.py develop
   

基本使用

Real-ESRGAN 提供三种主要使用方式：在线演示、便携可执行文件（NCNN） 和 Python 脚本。

1. 便携可执行文件（推荐新手）

支持 Windows / Linux / MacOS，无需安装 CUDA 或 PyTorch 环境，开箱即用。

命令格式：

./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png -n model_name

常用模型参数 (-n)：

• realesrgan-x4plus（默认，通用场景）
• realesrnet-x4plus
• realesrgan-x4plus-anime（动漫插图优化，体积小）
• realesr-animevideov3（动漫视频）

注：Windows 用户请下载 .exe 文件，Linux/MacOS 用户请下载对应系统版本。

2. Python 脚本

适合需要高级功能（如分块处理、任意缩放）的用户。

基础命令：

python inference_realesrgan.py -n RealESRGAN_x4plus -i infile -o outfile

进阶示例（任意缩放输出尺寸）：

python inference_realesrgan.py -n RealESRGAN_x4plus -i infile --outscale 3.5

3. 在线演示

• Web Demo: ARC Demo
• Colab Demo: Real-ESRGAN | Anime Video