PixelLib

更新：PixelLib 现已支持 PyTorch，并采用 PointRend 技术，能够对图像和视频中的目标进行更精确、实时的实例分割。请阅读教程，了解如何使用 PyTorch 和 PointRend 在图像和视频中实现实例分割。

论文《使用 PixelLib 库简化目标分割》已在 paperswithcode 上发布。

Pixellib 是一个用于对图像和视频中的目标进行分割的库。它支持两种主要的图像分割类型：

1. 语义分割

2. 实例分割

PixelLib 支持两种深度学习框架来进行图像分割，分别是 PyTorch 和 TensorFlow。

PixelLib PyTorch 版本

PixelLib 的 PyTorch 版本采用了由 Alexander Kirillov 等人 提出的 PointRend 目标分割架构，用以替代 Mask R-CNN 来执行目标的实例分割。PointRend 是一种非常先进的神经网络模型，用于实现目标分割。它能够生成高精度的分割掩膜，并且推理速度极快，完全满足当前对高精度、实时计算机视觉应用的需求。PixelLib 是一个跨平台的库，我将其与 Detectron2 的 Python 实现版本（仅支持 Linux 操作系统）相结合。为了支持 Windows 操作系统，我对原始的 Detectron2 PointRend 实现进行了修改。现在，PixelLib 所使用的 PointRend 实现同时支持 Linux 和 Windows 操作系统。

Mask R-CNN	PointRend

Mask R-CNN	PointRend

以上示例图片展示了 PointRend 与 Mask R-CNN 在分割结果上的差异。很明显，PointRend 的分割效果要优于 Mask R-CNN。

PointRend 实例分割性能记录

推理速度：

• 使用 1333 * 800 的目标尺寸时：处理单张图像耗时 0.26 秒，实时摄像头输入可达 4 帧/秒。
  
• 使用 667 * 447 的目标尺寸时：处理单张图像耗时 0.20 秒，实时摄像头输入可达 6 帧/秒。
  
• 使用 333 * 200 的目标尺寸时：处理单张图像耗时 0.15 秒，实时摄像头输入可达 9 帧/秒。
  

安装 PixelLib 及其依赖项

下载 Python

PixelLib PyTorch 版本支持 Python 3.7 及以上版本。请下载一个兼容的 Python 版本。

安装 PyTorch

PixelLib PyTorch 版本支持以下 PyTorch 版本（1.6.0、1.7.1、1.8.0 和 1.9.0）。

注意： 不支持 PyTorch 1.7.0，请勿使用低于 1.6.0 的任何版本。请安装一个兼容的PyTorch 版本。

安装 Pycocotools

pip3 install pycocotools

安装 PixelLib

pip3 install pixellib

如果已安装，可使用以下命令升级到最新版本：

pip3 install pixellib — upgrade

使用 PointRend 用 5 行代码实现图像分割

  import pixellib
  from pixellib.torchbackend.instance import instanceSegmentation

  ins = instanceSegmentation()
  ins.load_model("pointrend_resnet50.pkl")
  ins.segmentImage("image.jpg", show_bboxes=True, output_image_name="output_image.jpg")

使用 PyTorch 和 PointRend 进行图像实例分割的教程

使用 PointRend 用 5 行代码实现视频分割

  import pixellib
  from pixellib.torchbackend.instance import instanceSegmentation

  ins = instanceSegmentation()
  ins.load_model("pointrend_resnet50.pkl")
  ins.process_video("sample_video.mp4", show_bboxes=True, frames_per_second=3, output_video_name="output_video.mp4")
  

使用 PyTorch 和 PointRend 进行视频实例分割的教程

注意

PixelLib 的最新 PyTorch 版本目前仅支持目标的实例分割。自定义训练功能即将推出！！！！

PixelLib TensorFlow 版本

PixelLib 支持 TensorFlow 2.0 - 2.4.1 版本。请使用以下命令安装 TensorFlow：

pip3 install tensorflow

如果您拥有配备 GPU 的电脑，请安装与您电脑上 CUDA 兼容的 TensorFlow-GPU 版本：

pip3 install tensorflow--gpu

安装 Pixellib：

pip3 install pixellib --upgrade

访问 PixelLib 的官方文档： readthedocs

用 5 行代码在图像和视频中编辑背景：

PixelLib 利用目标分割技术实现了出色的前景与背景分离。只需五行代码，即可轻松更改任何图像或视频的背景。

支持的背景编辑功能包括：

1. 为图像和视频创建虚拟背景

2. 为图像和视频的背景指定特定颜色

3. 对图像和视频的背景进行模糊处理

4. 将图像和视频的背景转换为灰度

import pixellib
from pixellib.tune_bg import alter_bg

change_bg = alter_bg(model_type = "pb")
change_bg.load_pascalvoc_model("xception_pascalvoc.pb")
change_bg.blur_bg("sample.jpg", extreme = True, detect = "person", output_image_name="blur_img.jpg")

图像背景编辑教程

import pixellib
from pixellib.tune_bg import alter_bg

change_bg = alter_bg(model_type="pb")
change_bg.load_pascalvoc_model("xception_pascalvoc.pb")
change_bg.change_video_bg("sample_video.mp4", "bg.jpg", frames_per_second = 10, output_video_name="output_video.mp4", detect = "person")

视频背景编辑教程

仅需几行代码即可实现语义分割和实例分割。

PixelLib 提供了两种用于执行 语义分割 的 Deeplabv3+ 模型：

1. 基于 Xception 网络骨干、在 Ade20k 数据集上训练的 Deeplabv3+ 模型，该数据集包含 150 类物体。
2. 基于 Xception 网络骨干、在 PascalVoc 数据集上训练的 Deeplabv3+ 模型，该数据集包含 20 类物体。

PixelLib 使用在 COCO 数据集上训练的 Mask R-CNN 模型实现了实例分割。

PixelLib 的最新版本支持使用预训练的 COCO 模型对目标分割模型进行自定义训练。

注意： PixelLib 支持使用 Labelme 进行标注。如果您使用其他标注工具，则可能与该库不兼容。请阅读这篇关于使用 Labelme 进行图像标注的 教程。

• 用 5 行代码实现图像和视频中的对象实例分割

• 用 7 行代码进行自定义训练

• 用 5 行代码实现图像和视频中 150 类物体的语义分割

• 用 5 行代码实现 20 种常见物体的语义分割

• 使用 PixelLib 的项目
  
  

注 Deeplab 和 Mask R-CNN 模型可在本仓库的 发布页面 中找到。

用 5 行代码实现图像和视频中的对象实例分割

PixelLib 支持使用 Mask R-CNN 实现图像和视频中对象的实例分割，只需 5 行代码即可完成。

  import pixellib
  from pixellib.instance import instance_segmentation

  segment_image = instance_segmentation()
  segment_image.load_model("mask_rcnn_coco.h5") 
  segment_image.segmentImage("sample.jpg", show_bboxes = True, output_image_name = "image_new.jpg")

图像实例分割教程

  import pixellib
  from pixellib.instance import instance_segmentation

  segment_video = instance_segmentation()
  segment_video.load_model("mask_rcnn_coco.h5")
  segment_video.process_video("sample_video2.mp4", show_bboxes = True, frames_per_second= 15, output_video_name="output_video.mp4")

**视频实例分割教程

用 7 行代码进行自定义训练

PixelLib 支持仅用七行代码训练自定义分割模型。

   import pixellib
   from pixellib.custom_train import instance_custom_training

   train_maskrcnn = instance_custom_training()
   train_maskrcnn.modelConfig(network_backbone = "resnet101", num_classes= 2, batch_size = 4)
   train_maskrcnn.load_pretrained_model("mask_rcnn_coco.h5")
   train_maskrcnn.load_dataset("Nature")
   train_maskrcnn.train_model(num_epochs = 300, augmentation=True,  path_trained_models = "mask_rcnn_models")

这是使用 PixelLib 训练的模型结果。

自定义实例分割训练教程

使用您的自定义模型对图像和视频中的物体进行推理。

  
  import pixellib
  from pixellib.instance import custom_segmentation

  test_video = custom_segmentation()
  test_video.inferConfig(num_classes=  2, class_names=["BG", "butterfly", "squirrel"])
  test_video.load_model("Nature_model_resnet101")
  test_video.process_video("sample_video1.mp4", show_bboxes = True,  output_video_name="video_out.mp4", frames_per_second=15)

使用自定义模型进行图像和视频中物体实例分割的教程

用 5 行代码实现图像和视频中 150 类物体的语义分割

PixelLib 可以通过 Ade20k 模型以 5 行代码实现最先进的 150 类物体语义分割。使用 Ade20k 模型，PixelLib 可以对室内和室外场景进行分割。

  import pixellib
  from pixellib.semantic import semantic_segmentation

  segment_image = semantic_segmentation()
  segment_image.load_ade20k_model("deeplabv3_xception65_ade20k.h5")
  segment_image.segmentAsAde20k("sample.jpg", overlay = True, output_image_name="image_new.jpg")

图像中 150 类物体语义分割教程

  import pixellib
  from pixellib.semantic import semantic_segmentation

  segment_video = semantic_segmentation()
  segment_video.load_ade20k_model("deeplabv3_xception65_ade20k.h5")
  segment_video.process_video_ade20k("sample_video.mp4", overlay = True, frames_per_second= 15, output_video_name="output_video.mp4")  

视频中 150 类物体语义分割教程

用 5 行代码实现 20 种常见物体的语义分割

PixelLib 支持对 20 种特定物体进行语义分割。

import pixellib
from pixellib.semantic import semantic_segmentation

segment_image = semantic_segmentation()
segment_image.load_pascalvoc_model("deeplabv3_xception_tf_dim_ordering_tf_kernels.h5") 
segment_image.segmentAsPascalvoc("sample.jpg", output_image_name = "image_new.jpg")

使用 PixelLib 和 PascalVoc 模型对图像中的物体进行语义分割的教程

  import pixellib
  from pixellib.semantic import semantic_segmentation

  segment_video = semantic_segmentation()
  segment_video.load_pascalvoc_model("deeplabv3_xception_tf_dim_ordering_tf_kernels.h5")
  segment_video.process_video_pascalvoc("sample_video1.mp4",  overlay = True, frames_per_second= 15, output_video_name="output_video.mp4")

使用 PixelLib 和 PascalVoc 模型对视频中的物体进行语义分割的教程

使用 PixelLib 的项目

1. R2P2 医疗实验室利用 PixelLib 分析新生儿重症监护室的医学图像。https://r2p2.tech/#equipe
   
   

2. PixelLib 被集成到无人机的摄像头中，用于对实时视频流进行实例分割 https://elbruno.com/2020/05/21/coding4fun-how-to-control-your-drone-with-20-lines-of-code-20-n/?utm_source=twitter&utm_medium=social&utm_campaign=tweepsmap-Default
   
   

3. 一个集成了 PixelLib 的分割 API，可在 iOS 上对图像进行语义和实例分割 https://github.com/omarmhaimdat/segmentation_api
   
   

4. PixelLib 被用于图像分割，以查找图像中的相似内容，从而实现图像推荐 https://github.com/lukoucky/image_recommendation
   
   

5. PixelLib 也可以轻松地与 Streamlit 集成，Streamlit 是一个开源的 Python 库，可以方便地创建和分享美观、自定义的机器学习和数据科学 Web 应用程序。只需几分钟，您就可以构建并部署功能强大的数据应用程序。

仓库链接：https://github.com/prateekralhan/Instance-Segmentation-using-PixelLib

参考文献

1. PointRend Detectron2 实现 https://github.com/facebookresearch/detectron2/tree/main/projects/PointRend

2. Bonlime，带有预训练权重的 Deeplab v3+ Keras 实现 https://github.com/bonlime/keras-deeplab-v3-plus

3. Liang-Chieh Chen 等人，用于语义图像分割的带空洞可分离卷积的编码器-解码器 https://arxiv.org/abs/1802.02611

4. Matterport，在 Keras 和 TensorFlow 上用于目标检测和实例分割的 Mask R-CNN https://github.com/matterport/Mask_RCNN

5. 使 Mask R-CNN 代码兼容 TensorFlow 2.0 https://github.com/tomgross/Mask_RCNN/tree/tensorflow-2.0

6. Kaiming He 等人，Mask R-CNN https://arxiv.org/abs/1703.06870

7. TensorFlow DeepLab 模型库 https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/model_zoo.md

8. PascalVoc 和 Ade20k 数据集的颜色映射表 https://github.com/tensorflow/models/blob/master/research/deeplab/utils/get_dataset_colormap.py

9. 目标检测 Python https://github.com/Yunus0or1/Object-Detection-Python

返回顶部

PixelLib 快速上手指南

PixelLib 是一个用于图像和视频分割的 Python 库，支持语义分割和实例分割。它兼容 PyTorch（基于 PointRend，精度更高、速度更快）和 TensorFlow（基于 Mask R-CNN 和 DeepLabv3+）两大深度学习框架。

1. 环境准备

系统要求

• 操作系统: Windows 或 Linux (PyTorch 版本已优化支持 Windows)
• Python 版本: 3.7 及以上

前置依赖

根据你选择的后端框架安装相应依赖：

方案 A：PyTorch 后端 (推荐，性能更优)

• PyTorch 版本: 支持 1.6.0, 1.7.1, 1.8.0, 1.9.0
  • 注意：不支持 1.7.0，且不能使用低于 1.6.0 的版本。
• 其他依赖: pycocotools

方案 B：TensorFlow 后端

• TensorFlow 版本: 2.0 - 2.4.1
• GPU 加速: 若需使用 GPU，请安装与本地 CUDA 版本匹配的 tensorflow-gpu

---

2. 安装步骤

请根据你的需求选择以下一种方式进行安装。

方式一：安装 PyTorch 版本 (推荐)

1. 安装 pycocotools:

   pip3 install pycocotools
   

   (国内用户推荐使用清华源加速：pip3 install pycocotools -i https://pypi.tuna.tsinghua.edu.cn/simple)

2. 安装 PyTorch: 请访问 PyTorch 官网 获取适合你环境的安装命令（确保版本在 1.6.0-1.9.0 之间）。

3. 安装 PixelLib:

   pip3 install pixellib
   

   (若需升级到最新版：pip3 install pixellib --upgrade)

方式二：安装 TensorFlow 版本

1. 安装 TensorFlow:

   pip3 install tensorflow
   

   (若有 GPU 需求：pip3 install tensorflow-gpu)

2. 安装/升级 PixelLib:

   pip3 install pixellib --upgrade
   

---

3. 基本使用

PixelLib 的核心优势在于仅需 5 行代码 即可完成复杂的分割任务。使用前请确保已下载对应的模型文件（如 pointrend_resnet50.pkl 或 mask_rcnn_coco.h5），模型可在官方 Release 页面获取。

场景一：图像实例分割 (PyTorch + PointRend)

这是目前精度最高且支持实时的方案。

import pixellib
from pixellib.torchbackend.instance import instanceSegmentation

ins = instanceSegmentation()
ins.load_model("pointrend_resnet50.pkl")
ins.segmentImage("image.jpg", show_bboxes=True, output_image_name="output_image.jpg")

场景二：视频实例分割 (PyTorch + PointRend)

import pixellib
from pixellib.torchbackend.instance import instanceSegmentation

ins = instanceSegmentation()
ins.load_model("pointrend_resnet50.pkl")
ins.process_video("sample_video.mp4", show_bboxes=True, frames_per_second=3, output_video_name="output_video.mp4")

场景三：图像背景编辑 (通用)

利用分割技术实现背景虚化、替换或灰度化处理。

import pixellib
from pixellib.tune_bg import alter_bg

change_bg = alter_bg(model_type="pb")
change_bg.load_pascalvoc_model("xception_pascalvoc.pb")
# 示例：对人物进行背景极度虚化
change_bg.blur_bg("sample.jpg", extreme=True, detect="person", output_image_name="blur_img.jpg")

场景四：自定义模型训练 (仅需 7 行代码)

基于预训练的 COCO 模型微调自己的数据集（需使用 LabelMe 标注）。

import pixellib
from pixellib.custom_train import instance_custom_training

train_maskrcnn = instance_custom_training()
train_maskrcnn.modelConfig(network_backbone="resnet101", num_classes=2, batch_size=4)
train_maskrcnn.load_pretrained_model("mask_rcnn_coco.h5")
train_maskrcnn.load_dataset("Nature")
train_maskrcnn.train_model(num_epochs=300, augmentation=True, path_trained_models="mask_rcnn_models")

提示: 更多详细教程（如语义分割、特定数据集训练等）可访问 PixelLib 官方文档或查看项目仓库中的 Tutorials 文件夹。