令人惊叹的全景分割

这个仓库收集了关于全景分割领域的前沿研究，包括论文、代码和基准测试结果等。

大纲

• 全景分割
• 数据集
• 评估
• 基准测试结果
• 论文
• 教程
• 博客

普遍分割

用一句话概括：全景分割旨在以统一且通用的方式同时解决语义分割（“Stuff”）和实例分割（“Thing”）问题。

结构概述

摘自 UPSNet。

数据集

通常，同时包含语义和实例标注的数据集都可以用于解决全景分割任务。

• COCO-Panoptic
• Cityscapes
• Mapillary Vistas
• ADE20K
• IDD20K

评估

评价指标

• PQ 是在 Panoptic Segmentation 中描述的标准指标。

• PC 是在 DeeperLab 中描述的标准指标。

评估代码

• cocodataset/panopticapi
• mcordts/cityscapesScripts

竞赛

• AutoNUE 2019 全景分割挑战赛（ICCV 2019 研讨会，已结束）
• COCO 2019 全景分割任务（ICCV 2019 研讨会，已结束）
• Mapillary 2019 全景分割任务（ICCV 2019 研讨会，已结束）
• Cityscapes 全景语义标注任务（开放中）
• COCO 2018 全景分割任务（ECCV 2018 研讨会，已结束）
• Mapillary Vistas 2018 全景分割任务（ECCV 2018 研讨会，已结束）

基准测试结果

COCO val 基准

方法	主干网络	PQ	PQ-Thing	PQ-Stuff	SQ	RQ	mIoU	AP-Mask	PC	e2e
SOGNet	ResNet-50	43.7	50.6	33.2	78.7	53.5	54.56	34.2	-	:white_check_mark:
UPSNet	ResNet-50	42.5	48.6	33.4	-	-	54.3	34.3	-	:white_check_mark:
OANet	ResNet-101	41.3	50.4	27.7	-	-	-	-	-	:white_check_mark:
OCFusion	ResNet-50	41.0	49.0	29.0	77.1	50.6	-	-	-	:white_check_mark:
Panoptic FPN	ResNet-101	40.9	48.3	29.7	-	-	-	-	-	:white_check_mark:
AUNet	ResNet-50	39.6	49.1	25.2	-	-	45.1	34.7	-	:white_check_mark:
AdaptIS	ResNet-101	37.0	41.8	29.9	-	-	-	-	-	:white_check_mark:
DeeperLab	Xception-71	34.3	37.5	29.6	77.1	43.1	-	-	56.8	:white_check_mark:

Cityscapes val 基准

方法	主干网络	PQ	PQ-Thing	PQ-Stuff	SQ	RQ	mIoU	AP-Mask	PC	e2e
Panoptic(Merge)	-	61.2	66.4	54.0	80.9	74.4	-	-	-	:negative_squared_cross_mark:
AdaptIS	ResNet-101	60.6	58.7	64.4	-	-	79.2	36.3	-	:white_check_mark:
SOGNet	ResNet-50	60.0	56.7	62.5	-	-	-	-	-	:white_check_mark:
Seamless	ResNet-50	59.8	53.4	64.5	-	-	75.4	31.9	-	:white_check_mark:
UPSNet	ResNet-50	59.3	54.6	62.7	79.7	73.0	75.2	33.3	-	:white_check_mark:
TASCNet	ResNet-101	59.2	56	61.5	-	-	77.8	37.6	-	:white_check_mark:
AUNet	ResNet-101	59.0	54.8	62.1	-	-	75.6	34.4	-	:white_check_mark:
Panoptic FPN	ResNet-101	58.1	52.0	62.5	-	-	75.7	33.0	-	:white_check_mark:
DeeperLab	Xception-71	56.5	-	-	-	-	-	-	75.6	:white_check_mark:

Mapillary val 基准

方法	主干网络	PQ	PQ-Thing	PQ-Stuff	SQ	RQ	mIoU	AP-Mask	PC	e2e
Panoptic(Merge)	-	38.3	41.8	35.7	73.6	47.7	-	-	-	:negative_squared_cross_mark:
Seamless	ResNet-50	37.2	33.2	42.5	-	-	50.2	16.3	-	:white_check_mark:
AdaptIS	ResNet-101	33.4	28.3	40.3	-	-	-	-	-	:white_check_mark:
TASCNet	ResNet-101	32.6	31.3	34.4	-	-	35.0	18.5	-	:white_check_mark:
DeeperLab	Xception-71	32.0	-	-	-	-	-	-	55.3	:white_check_mark:

论文

AAAI2020

• SOGNet: 杨一博、李洪洋、李霞、赵启杰、吴建龙、林周晨。
  “SOGNet：用于全景分割的场景重叠图网络。” AAAI（2020）。[论文]

ICCV2019

• AdaptIS: 康斯坦丁·索菲尤克、奥尔加·巴里诺娃、安东·科努申。
  “AdaptIS：自适应实例选择网络。” ICCV（2019）。[论文]

• 程阳福、塔玛拉·L·伯格、亚历山大·C·伯格。
  “IMP：实例掩码投影技术，用于高精度的事物语义分割。” ICCV（2019）。[论文]

• 邓博文、麦克斯韦尔·D·柯林斯、朱玉坤、刘婷、托马斯·S·黄、哈特维格·亚当、陈良哲。
  “Panoptic-DeepLab：一种简单、强大且快速的自下而上全景分割基线。” ICCVW（2019）。[论文]

CVPR2019

• 全景分割: Alexander Kirillov、Kaiming He、Ross Girshick、Carsten Rother、Piotr Dollár。
  “全景分割”。CVPR（2019）。[论文]

• 全景FPN: Alexander Kirillov、Ross Girshick、Kaiming He、Piotr Dollár。
  “全景特征金字塔网络”。CVPR（2019 口头报告）。[论文] [非官方代码][detectron2]

• AUNet: Yanwei Li、Xinze Chen、Zheng Zhu、Lingxi Xie、Guan Huang、Dalong Du、Xingang Wang。
  “用于全景分割的注意力引导统一网络”。CVPR（2019）。[论文]

• UPSNet: Yuwen Xiong、Renjie Liao、Hengshuang Zhao、Rui Hu、Min Bai、Ersin Yumer、Raquel Urtasun。
  “UPSNet：统一的全景分割网络”。CVPR（2019 口头报告）。[论文] [代码]

• DeeperLab: Tien-Ju Yang、Maxwell D. Collins、Yukun Zhu、Jyh-Jing Hwang、Ting Liu、Xiao Zhang、Vivienne Sze、George Papandreou、Liang-Chieh Chen。
  “DeeperLab：单次图像解析器”。CVPR（2019 口头报告）。[论文] [项目] [代码]

• OANet: Huanyu Liu、Chao Peng、Changqian Yu、Jingbo Wang、Xu Liu、Gang Yu、Wei Jiang。
  “用于全景分割的端到端网络”。CVPR（2019）。[论文]

• Eirikur Agustsson、Jasper R. R. Uijlings、Vittorio Ferrari。
  “通过联合考虑所有区域实现交互式全图像分割”。CVPR（2019）。[论文]

• Seamless: Lorenzo Porzi、Samuel Rota Bulo、Aleksander Colovic、Peter Kontschieder。
  “无缝场景分割”。CVPR（2019）（扩展版）。[论文][代码]

ECCV2018

• Qizhu Li、Anurag Arnab、Philip H.S. Torr。
  “弱监督与半监督下的全景分割”。ECCV（2018）。[论文] [代码]

ArXiv

• Rohit Mohan、Abhinav Valada。
  “EfficientPS：高效的全景分割”。arXiv（2020）。[论文]

• Rui Hou、Jie Li、Arjun Bhargava、Allan Raventos、Vitor Guizilini、Chao Fang、Jerome Lynch、Adrien Gaidon。
  “基于密集检测的实时全景分割”。arXiv（2019）。[论文]

• Mark Weber、Jonathon Luiten、Bastian Leibe。
  “单次全景分割”。arXiv（2019）。[论文]

• Qiang Chen、Anda Cheng、Xiangyu He、Peisong Wang、Jian Cheng。
  “SpatialFlow：为全景分割打通所有任务”。arXiv（2019）。[论文]

• Sagi Eppel、Alan Aspuru-Guzik。
  “生成器—评估器—选择器网络：一种用于全景分割的模块化方法”。arXiv（2019）。[论文]

• Jasper R. R. Uijlings、Mykhaylo Andriluka、Vittorio Ferrari。
  “带有协作助手的全景图像标注”。arXiv（2019）。[论文]

• OCFusion: Justin Lazarow、Kwonjoon Lee、Zhuowen Tu。
  “学习实例遮挡以进行全景分割”。arXiv（2019）。[论文]

• PEN: Yuan Hu、Yingtian Zou、Jiashi Feng。
  “全景边缘检测”。arXiv（2019）。[论文]

• TASCNet: Jie Li、Allan Raventos、Arjun Bhargava、Takaaki Tagawa、Adrien Gaidon。
  “学习融合事物与语义信息”。arXiv（2018）。[论文]

• Daan de Geus、Panagiotis Meletis、Gijs Dubbelman。
  “使用联合语义与实例分割网络进行全景分割”。arXiv（2018）。[论文]

• Daan de Geus、Panagiotis Meletis、Gijs Dubbelman。
  “用于街景理解的单网络全景分割”。arXiv（2019）。[论文]

• David Owen、Ping-Lin Chang。
  “通过结合语义与实例分割检测反射”。arXiv（2019）。[论文]

• Gaku Narita、Takashi Seno、Tomoya Ishikawa、Yohsuke Kaji。
  “PanopticFusion：在事物与语义层面的在线体积语义建图”。arXiv（2019，IROS）。[论文]

教程

• CVPR 2019 视觉识别及更深层次主题教程。[幻灯片] [主页]
• COCO 2017 研讨会。[幻灯片]

博客

• Megvii（Face++）检测团队。[知乎]

awesome-panoptic-segmentation 快速上手指南

awesome-panoptic-segmentation 并非一个单一的算法库，而是一个汇集了全景分割（Panoptic Segmentation）领域论文、代码、数据集和基准测试结果的资源列表。本指南将帮助你利用该列表中的资源快速开始全景分割任务。

环境准备

在开始之前，请确保你的开发环境满足以下基本要求。由于列表中包含了多个不同的项目（如 Detectron2, UPSNet, DeeperLab 等），具体依赖可能略有不同，但通用环境如下：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python: 3.6 或更高版本
• 深度学习框架: PyTorch (主流) 或 TensorFlow (部分旧项目如 DeeperLab)
• 硬件: 支持 CUDA 的 NVIDIA GPU (推荐显存 8GB 以上)
• 前置依赖:
  • git: 用于克隆代码库
  • pip 或 conda: 包管理工具
  • COCO API: 大多数项目需要此库进行评估和数据加载

国内加速建议：

• 使用清华源或阿里源加速 Python 包安装。
• 使用 GitHub 镜像站克隆仓库以提高速度。

安装步骤

由于这是一个资源列表，你需要先选择一个具体的实现项目进行安装。以下以列表中主流的 Detectron2 (包含 Panoptic FPN) 为例进行安装演示。如果你选择其他项目（如 UPSNet），请参考该项目对应的 GitHub 链接。

1. 创建虚拟环境 (推荐)

conda create -n panoptic python=3.8
conda activate panoptic

2. 安装 PyTorch 和 torchvision

访问 PyTorch 官网 获取适合你 CUDA 版本的命令。以下是通用示例：

pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html
# 国内用户推荐使用清华源
# pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装 Detectron2 (支持全景分割)

python -m pip install 'git+https://github.com/facebookresearch/detectron2.git'
# 国内加速克隆与安装
# git clone https://github.com.cnpmjs.org/facebookresearch/detectron2.git
# cd detectron2 && pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 安装 COCO API (评估必需)

pip install pycocotools
# 或者从源码安装
# pip install 'git+https://github.com/cocodataset/cocoapi.git#subdirectory=PythonAPI'

基本使用

以下示例展示如何使用 Detectron2 加载预训练的全景分割模型并对单张图片进行推理。这是最基础的入门用法。

1. 准备测试图片

确保你有一张测试图片，例如 input.jpg。

2. 运行推理代码

创建一个名为 demo.py 的文件，写入以下代码：

import cv2
import matplotlib.pyplot as plt
from detectron2.config import get_cfg
from detectron2.engine.defaults import DefaultPredictor
from detectron2.data.datasets import register_coco_panoptic_separated
from detectron2.data import MetadataCatalog
from detectron2.utils.visualizer import ColorMode, Visualizer

# 配置模型
cfg = get_cfg()
cfg.merge_from_file("detectron2/projects/PanopticFPN/configs/Base-Panoptic-FPN.yaml") # 路径需根据实际安装调整，通常直接使用预训练配置
cfg.MODEL.WEIGHTS = "detectron2://COCO-PanopticSegmentation/panoptic_fpn_R_50_3x/139514569/model_final_c10459.pkl"
cfg.MODEL.PANOPTIC_FPN.COMBINE.ENABLED = True
cfg.MODEL.ROI_HEADS.SCORE_THRESH_TEST = 0.5  # 设置置信度阈值
cfg.MODEL.DEVICE = "cuda"  # 或 "cpu"

predictor = DefaultPredictor(cfg)

# 读取图片
im = cv2.imread("input.jpg")

# 执行推理
outputs = predictor(im)

# 可视化结果
v = Visualizer(im[:, :, ::-1], MetadataCatalog.get(cfg.DATASETS.TRAIN[0]), scale=1.2, instance_mode=ColorMode.IMAGE_BW)
panoptic_seg = v.draw_panoptic_seg(outputs["panoptic_seg"][0].to("cpu"), outputs["panoptic_seg"][1]).get_image()

# 显示结果
plt.figure(figsize=(20, 10))
plt.imshow(panoptic_seg)
plt.axis('off')
plt.show()

3. 查看结果

运行脚本后，将弹出一个窗口显示融合了语义分割（Stuff）和实例分割（Thing）的全景分割结果图。

提示：若要尝试列表中其他模型（如 UPSNet 或 DeeperLab），请前往 Papers 章节找到对应项目的 GitHub 链接，按照其特定的 README 进行安装和运行。