IBM Developer 模型资产交换：图像分辨率增强器

此仓库包含用于实例化和部署图像分辨率增强器的代码。 该模型能够将像素化图像放大 4 倍，同时生成照片级真实的细节。

GAN（生成对抗网络）基于 此 GitHub 仓库 和 此研究文章。

该模型在 OpenImages V4 数据集的 600,000 张图像上进行了训练，模型文件托管在 IBM Cloud Object Storage 上。 本仓库中的代码将模型作为 Web 服务部署在 Docker 容器中。本仓库是 IBM Developer 模型资产交换 项目的一部分，公共 API 由 IBM Cloud 提供支持。

模型元数据

领域	应用	行业	框架	训练数据	输入数据格式
视觉	超分辨率	通用	TensorFlow	OpenImages V4	图像 (RGB/HWC)

基准测试

Set5	原作者 SRGAN	本 SRGAN
PSNR	29.40	29.56
SSIM	0.85	0.85

Set14	原作者 SRGAN	本 SRGAN
PSNR	26.02	26.25
SSIM	0.74	0.72

BSD100	原作者 SRGAN	本 SRGAN
PSNR	25.16	24.4
SSIM	0.67	0.67

此实现的性能在三个数据集上进行了评估：Set5、Set14 和 BSD100。 评估了 PSNR（峰值信噪比）和 SSIM（结构相似性指数）指标，尽管论文中将 MOS（平均意见得分）讨论为最有利的指标。 本质上，SRGAN 实现是为了获得更符合人眼审美的结果，而在 PSNR 或 SSIM 分数上做出权衡。这导致输出一组具有更清晰和逼真细节的图像。

NOTE: 论文中的 SRGAN 是在 35 万张 ImageNet 样本上训练的，而本 SRGAN 是在 60 万张 OpenImages V4 图片上训练的。

参考文献

• C. Ledig, L. Theis, F. Huszar, J. Caballero, A. Cunningham, A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, W. Shi, Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network, ArXiv, 2017.
• SRGAN-tensorflow (模型代码源)
• tensorflow-SRGAN
• 反卷积与棋盘格伪影

许可证

组件	许可证	链接
本仓库	Apache 2.0	LICENSE
模型权重	Apache 2.0	LICENSE
模型代码 (第三方)	MIT	LICENSE
测试样本	CC BY 2.0	资源 README
	CC0	资源 README

前置条件：

• docker: Docker 命令行界面。请遵循适用于您系统的 安装说明。
• 此模型的最小推荐资源为 8 GB 内存（参见故障排除）和 4 个 CPU。
• 如果您使用的是 x86-64/AMD64，您的 CPU 必须至少支持 AVX（高级向量扩展）。

部署选项

• 从 Quay 部署
• 在 Red Hat OpenShift 上部署
• 在 Kubernetes 上部署
• 本地运行

从 Quay 部署

要运行自动启动模型服务 API 的 Docker 镜像，请运行：

$ docker run -it -p 5000:5000 quay.io/codait/max-image-resolution-enhancer

这将从 Quay.io 容器注册表拉取预构建的镜像（如果本地已缓存则使用现有镜像）并运行它。 如果您更愿意检出并在本地构建模型，可以遵循下面的 本地运行 步骤。

在 Red Hat OpenShift 上部署

您可以通过遵循 OpenShift Web 控制台或 OpenShift Container Platform CLI 的说明，在此教程中指定 quay.io/codait/max-image-resolution-enhancer 作为镜像名称，从而在 Red Hat OpenShift 上部署模型服务微服务 在此教程。

在 Kubernetes 上部署

您也可以使用 Quay 上的最新 Docker 镜像在 Kubernetes 上部署该模型。

在您的 Kubernetes 集群上，运行以下命令：

$ kubectl apply -f https://github.com/IBM/max-image-resolution-enhancer/raw/master/max-image-resolution-enhancer.yaml

模型将在内部端口 5000 可用，但也可以通过 NodePort 从外部访问。

有关如何将此 MAX 模型部署到 IBM Cloud 生产环境的更详细教程，请查看 此处。

本地运行

1. 构建模型
2. 部署模型
3. 使用模型
4. 开发
5. 清理

1. 构建模型

在本地克隆此仓库。在终端中，运行以下命令：

$ git clone https://github.com/IBM/max-image-resolution-enhancer.git

进入仓库根目录：

$ cd max-image-resolution-enhancer

要在本地构建 Docker (Docker 容器) 镜像，请运行：

$ docker build -t max-image-resolution-enhancer .

所有所需的模型资源将在构建过程中下载。注意，目前该 Docker 镜像仅支持 CPU (中央处理器)（我们稍后将添加对 GPU (图形处理器) 镜像的支持）。

2. 部署模型

要运行 Docker 镜像（它会自动启动模型服务 API (应用程序编程接口)），请运行：

$ docker run -it -p 5000:5000 max-image-resolution-enhancer

3. 使用模型

API (应用程序编程接口) 服务器会自动生成一个交互式的 Swagger 文档页面。访问 http://localhost:5000 加载它。在那里你可以探索 API 并创建测试请求。

使用 model/predict 端点 (Endpoint) 加载测试图片（你可以使用 samples/test_examples/low_resolution 文件夹中的测试图片之一），以获取返回的高分辨率输出图片。

理想的输入图片是分辨率为 100x100 到 500x500 之间的 PNG 文件，最好没有任何后期处理或鲜艳的色彩。该模型能够从像素化图像（低 DPI (每英寸点数)）生成细节，但无法修正“模糊”的图像。

Left: input image (128×80). Right: output image (512×320)

你也可以在命令行上测试，例如：

$ curl -F "image=@samples/test_examples/low_resolution/food.png" -XPOST http://localhost:5000/model/predict > food_high_res.png

上述命令将把低分辨率的 food.png 文件发送给模型，并将高分辨率的输出图像保存到根目录下的 food_high_res.png 文件中。

4. 开发

要以调试模式 (Debug mode) 运行 Flask (Flask 框架) API 应用，请编辑 config.py 并在应用程序设置下设置 DEBUG = True。然后你需要重新构建 Docker 镜像（参见 步骤 1）。

请记住在生产环境中运行模型时将 DEBUG 设置为 False。

5. 清理

要停止 Docker 容器，请在终端中输入 CTRL + C。

故障排除

• 调用 model/predict 端点会导致 Docker 容器被终止，并显示消息 Killed

这可能是由于 Docker 内存分配默认限制为 2 GB 所致。导航至 Docker Desktop 应用程序下的 Preferences 菜单。使用滑块将可用内存增加到 8 GB 并重启 Docker Desktop。

• 输出图像中的细节与预期不同，有时甚至不符合物理规律

该模型基本上是从“无”中生成细节。在不做出假设的情况下，凭空创造是不可能的。 网络试图识别低分辨率图像中的元素，从而推断现实（人眼 | 超分辨率 (Super-resolution)）可能看起来的样子。如果一组像素强烈类似于与图像内容无关的观察结果，则可能导致观察到不符合‘物理规律’的结果。

例如：低分辨率图像中的一个白色像素可能被转换为雪花，尽管原图可能是在沙漠中拍摄的。此示例是虚构的，实际上并未观察到。

• 输出图像中的伪影

不幸的是，在某些图像中观察到伪影是不可避免的，因为任何神经网络 (Neural Network) 都受到技术限制和训练数据特性的影响。

请记住，要达到最佳效果，需满足以下条件：

• PNG 图像
• 充分放大的图像。在此过程中，网络会将一组像素组合在一起。如果块中包含的细节多于网络生成的细节，结果将是虚假的。
• 在自然光下拍摄、无滤镜且亮色或鲜艳色彩较少的图像。神经网络未针对重度编辑的图像进行训练。
• 具有足够高解析度的图像，以免让网络混淆多种可能性（例如，极低分辨率图像中的单个像素可能代表整辆车、人、三明治等……）
• 该模型能够从像素化图像（低 DPI (每英寸点数)）生成细节，但无法修正“模糊”的图像。

资源和贡献

如果您有兴趣为 Model Asset Exchange 项目做出贡献或有任何问题，请遵循 此处 的说明。

MAX-Image-Resolution-Enhancer 快速上手指南

IBM 开源的图像分辨率增强工具，基于 SRGAN 模型，可将像素化图像放大 4 倍并生成逼真的细节。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• Docker: 已安装 Docker 命令行界面。
• 硬件资源: 建议至少 8 GB 内存和 4 个 CPU 核心。
• CPU 架构: x86-64/AMD64 架构需支持 AVX 指令集。

2. 安装步骤

本工具以 Docker 容器形式部署，提供预构建镜像和本地构建两种方式。

方式一：运行预构建镜像（推荐）

直接从 Quay.io 拉取镜像并启动服务：

$ docker run -it -p 5000:5000 quay.io/codait/max-image-resolution-enhancer

方式二：本地构建与部署

如果您希望从源码构建，请按以下步骤操作：

1. 克隆仓库

   $ git clone https://github.com/IBM/max-image-resolution-enhancer.git
   $ cd max-image-resolution-enhancer
   

2. 构建镜像

   $ docker build -t max-image-resolution-enhancer .
   

   注意：构建过程会自动下载所需的模型资产。当前镜像仅支持 CPU 运行。

3. 启动服务

   $ docker run -it -p 5000:5000 max-image-resolution-enhancer
   

3. 基本使用

服务启动后，API 服务器将自动运行。

访问交互文档

打开浏览器访问 http://localhost:5000，即可查看 Swagger 文档并进行测试请求。

调用 API 接口

使用 model/predict 端点上传图片，获取高分辨率输出。

示例命令：

$ curl -F "image=@samples/test_examples/low_resolution/food.png" -XPOST http://localhost:5000/model/predict > food_high_res.png

上述命令会将低分辨率图片发送至模型，并将结果保存为 food_high_res.png。

输入要求

为了获得最佳效果，建议输入图片满足以下条件：

• 格式: PNG 文件。
• 尺寸: 分辨率介于 100x100 至 500x500 之间。
• 内容: 避免过度后期处理或鲜艳色彩；模型适用于修复像素化（低 DPI）图像，无法修正模糊图像。