CascadePSP：通过全局与局部细化实现类无关的超高分辨率分割

Ho Kei Cheng*、Jihoon Chung*、Yu-Wing Tai、Chi-Keung Tang

[arXiv] [PDF]

[补充信息（包含与DenseCRF的对比！）]

[补充图像结果]

简介

CascadePSP 是一种用于高分辨率分割细化的深度学习模型。 本仓库包含了我们的 PyTorch 实现，具备训练和测试功能。我们还提供了标注好的 UHD 数据集 BIG 以及预训练模型。

以下是一些在高分辨率图像上的细化结果。

快速入门

已在 PyTorch 1.0 上测试过——不过更高版本应该也能用于推理。

请查看 这个文件夹。我们已经构建了一个 pip 包，只需两行代码即可对输入图像进行细化。

安装命令如下：

pip install segmentation-refinement

代码示例：

import cv2
import time
import matplotlib.pyplot as plt
import segmentation_refinement as refine
image = cv2.imread('test/aeroplane.jpg')
mask = cv2.imread('test/aeroplane.png', cv2.IMREAD_GRAYSCALE)

# 此处也可以指定 model_path
# 这一步需要一些时间来加载模型
refiner = refine.Refiner(device='cuda:0') # device 也可以是 'cpu'

# 快速模式——仅执行全局步骤。
# L 值越小，内存占用越少；在快速模式下速度更快。
output = refiner.refine(image, mask，fast=False，L=900) 

# 保存输出的代码
cv2.imwrite('output.png', output)

plt.imshow(output)
plt.show()

网络概述

全局步骤与局部步骤

全局步骤	局部步骤

细化模块

目录

运行部分：

• 安装
• 训练
• 语义分割测试
• 场景解析测试

下载部分：

• 预训练模型
• BIG 数据集及重新标注的 PASCAL VOC 2012

更多结果

对 Human 3.6M 数据集的掩码进行细化

图像	原始掩码	细化后的掩码

第一行展示了失败案例（颈部区域）。

致谢

PSPNet 的实现：https://github.com/Lextal/pspnet-pytorch

SyncBN 的实现：https://github.com/vacancy/Synchronized-BatchNorm-PyTorch

如果您在研究中使用了我们的工作，请引用以下内容：

@inproceedings{cheng2020cascadepsp,
  title={{CascadePSP}: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and Local Refinement},
  author={Cheng, Ho Kei and Chung, Jihoon and Tai, Yu-Wing and Tang, Chi-Keung},
  booktitle={CVPR},
  year={2020}
}

CascadePSP 快速上手指南

CascadePSP 是一个用于高分辨率图像分割优化的深度学习模型，支持类别无关（Class-Agnostic）的全局与局部细化。本指南将帮助您快速在本地环境中部署并使用该工具。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.6+
• 深度学习框架：PyTorch 1.0 或更高版本（推理功能在高版本中通常兼容良好）
• 硬件加速：推荐使用 NVIDIA GPU 以加速推理（需安装对应的 CUDA 驱动），同时也支持 CPU 模式。
• 前置依赖库：
  • opencv-python (cv2)
  • matplotlib
  • numpy

您可以使用以下命令安装基础依赖（建议使用国内镜像源加速）：

pip install opencv-python matplotlib numpy -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

CascadePSP 已封装为 Python 包，可通过 pip 直接安装。

标准安装：

pip install segmentation-refinement

国内加速安装（推荐）：

pip install segmentation-refinement -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：首次运行代码时，程序会自动下载预训练模型，请确保网络连接畅通。如需指定模型路径，可在代码中配置。

基本使用

以下是最简单的使用示例，展示如何读取图像和掩码，并进行分割优化。

代码示例

import cv2
import time
import matplotlib.pyplot as plt
import segmentation_refinement as refine

# 读取输入图像和对应的灰度掩码
image = cv2.imread('test/aeroplane.jpg')
mask = cv2.imread('test/aeroplane.png', cv2.IMREAD_GRAYSCALE)

# 初始化优化器
# device 可设置为 'cuda:0' (GPU) 或 'cpu'
# 首次加载模型可能需要一点时间
refiner = refine.Refiner(device='cuda:0') 

# 执行优化
# fast=False: 启用全局和局部细化步骤（精度更高）
# L=900: 控制内存占用与速度，数值越小越快且显存占用越低
output = refiner.refine(image, mask, fast=False, L=900) 

# 保存结果
cv2.imwrite('output.png', output)

# 显示结果
plt.imshow(output)
plt.show()

参数说明

• device: 指定运行设备，'cuda:0' 为第一块显卡，'cpu' 为处理器。
• fast:
  • False: 执行完整的“全局 + 局部”细化流程，效果最佳。
  • True: 仅执行“全局”步骤，速度更快。
• L: 分辨率相关参数。较小的值意味着更少的内存使用和更快的处理速度（尤其在 fast 模式下）。