.. raw:: html

<p align="center">
  <img src="https://oss.gittoolsai.com/images/qubvel_segmentation_models_readme_93d7f6ea6a21.png">
  <b>基于 <a href=https://www.keras.io>Keras</a> 和 <a href=https://www.tensorflow.org>TensorFlow</a> 的用于图像分割的神经网络 Python 库。</b>
  <br></br>

  <a href="https://badge.fury.io/py/segmentation-models" alt="PyPI">
    <img src="https://badge.fury.io/py/segmentation-models.svg" /></a>
  <a href="https://segmentation-models.readthedocs.io/en/latest/?badge=latest" alt="Documentation">
    <img src="https://oss.gittoolsai.com/images/qubvel_segmentation_models_readme_13d664e1afd7.png" /></a>
  <a href="https://travis-ci.com/qubvel/segmentation_models" alt="Build Status">
    <img src="https://travis-ci.com/qubvel/segmentation_models.svg?branch=master" /></a>
</p>

该库的主要特性 包括：

• 高级 API（只需两行代码即可创建分割模型）
• 适用于二分类和多分类图像分割的 4 种模型架构 （包括经典的 Unet）
• 每种架构支持 25 种可用的骨干网络
• 所有骨干网络均提供 预训练 权重，以加快收敛并提升性能
• 有用的分割损失函数（Jaccard、Dice、Focal）和评估指标（IoU、F-score）

重要提示

版本 ``1.*`` 中的部分模型与先前训练的模型不兼容。如果您拥有此类模型并希望加载它们，请回退到以下版本：

$ pip install -U segmentation-models==0.2.1

目录

 - `快速入门`_
 - `简单训练流程`_
 - `示例`_
 - `模型与骨干网络`_
 - `安装`_
 - `文档`_
 - `变更日志`_
 - `引用`_
 - `许可证`_

快速入门
~~~~~~~~~~~
该库专为与 Keras 和 TensorFlow Keras 框架协同工作而设计。

.. code:: python

    import segmentation_models as sm
    # Segmentation Models：使用 `keras` 框架。

默认情况下，它会尝试导入 ``keras``；如果未安装，则会尝试使用 ``tensorflow.keras`` 框架。您可以通过以下方式选择框架：

- 在导入 ``segmentation_models`` 之前设置环境变量 ``SM_FRAMEWORK=keras`` / ``SM_FRAMEWORK=tf.keras``
- 调用 ``sm.set_framework('keras')`` / ``sm.set_framework('tf.keras')`` 更改框架

您还可以指定使用的 ``image_data_format`` 类型，Segmentation Models 支持两种格式：``channels_last`` 和 ``channels_first``。
这对于后续将模型转换为 Nvidia TensorRT 格式或针对 CPU/GPU 计算优化模型非常有用。

.. code:: python

    import keras
    # 或 from tensorflow import keras

    keras.backend.set_image_data_format('channels_last')
    # 或 keras.backend.set_image_data_format('channels_first')

创建的分割模型只是 Keras Model 的一个实例，其构建方式非常简单：

.. code:: python
    
    model = sm.Unet()
    
根据任务需求，您可以选择参数数量不同的骨干网络来改变网络架构，并使用预训练权重进行初始化：

.. code:: python

    model = sm.Unet('resnet34', encoder_weights='imagenet')

更改模型的输出类别数（根据您的情况选择）：

.. code:: python
    
    # 二分类分割（调用 Unet('resnet34') 时，默认参数即为此配置）
    model = sm.Unet('resnet34', classes=1, activation='sigmoid')
    
.. code:: python
    
    # 多分类分割，类别掩码互不重叠（包含背景在内的所有类别）
    model = sm.Unet('resnet34', classes=3, activation='softmax')
    
.. code:: python
    
    # 多分类分割，类别掩码可独立重叠/不重叠
    model = sm.Unet('resnet34', classes=3, activation='sigmoid')
    
    
更改模型的输入形状：

.. code:: python
    
    # 如果输入通道数不等于 3，必须将 encoder_weights 设置为 None
    # 如何在 encoder_weights='imagenet' 的情况下处理这种情况，请参阅文档
    model = Unet('resnet34', input_shape=(None, None, 6), encoder_weights=None)
   
简单训练流程

.. code:: python

import segmentation_models as sm

BACKBONE = 'resnet34'
preprocess_input = sm.get_preprocessing(BACKBONE)

# 加载您的数据
x_train, y_train, x_val, y_val = load_data(...)

# 预处理输入数据
x_train = preprocess_input(x_train)
x_val = preprocess_input(x_val)

# 定义模型
model = sm.Unet(BACKBONE, encoder_weights='imagenet')
model.compile(
    'Adam',
    loss=sm.losses.bce_jaccard_loss,
    metrics=[sm.metrics.iou_score],
)

# 训练模型
# 如果使用数据生成器，请使用 model.fit_generator(...) 代替 model.fit(...)
# 关于 `fit_generator` 的更多信息请参见：https://keras.io/models/sequential/#fit_generator
model.fit(
   x=x_train,
   y=y_train,
   batch_size=16,
   epochs=100,
   validation_data=(x_val, y_val),
)

同样的操作也可以应用于 Linknet、PSPNet 和 FPN。有关模型 API 和应用场景的更多详细信息，请参阅 Read the Docs <https://segmentation-models.readthedocs.io/en/latest/>__。

示例

模型训练示例：
 - [Jupyter Notebook] CamVid 数据集上的二分类分割（车辆）`在此 <https://github.com/qubvel/segmentation_models/blob/master/examples/binary%20segmentation%20(camvid).ipynb>`__。
 - [Jupyter Notebook] CamVid 数据集上的多分类分割（车辆、行人）`在此 <https://github.com/qubvel/segmentation_models/blob/master/examples/multiclass%20segmentation%20(camvid).ipynb>`__。

模型与骨干网络

模型

• Unet <https://arxiv.org/abs/1505.04597>__
• FPN <http://presentations.cocodataset.org/COCO17-Stuff-FAIR.pdf>__
• Linknet <https://arxiv.org/abs/1707.03718>__
• PSPNet <https://arxiv.org/abs/1612.01105>__

============= ============== Unet Linknet ============= ============== |unet_image| |linknet_image| ============= ==============

============= ============== PSPNet FPN ============= ============== |psp_image| |fpn_image| ============= ==============

.. _Unet: https://github.com/qubvel/segmentation_models/blob/readme/LICENSE .. _Linknet: https://arxiv.org/abs/1707.03718 .. _PSPNet: https://arxiv.org/abs/1612.01105 .. _FPN: http://presentations.cocodataset.org/COCO17-Stuff-FAIR.pdf

.. |unet_image| image:: https://github.com/qubvel/segmentation_models/blob/master/images/unet.png .. |linknet_image| image:: https://github.com/qubvel/segmentation_models/blob/master/images/linknet.png .. |psp_image| image:: https://github.com/qubvel/segmentation_models/blob/master/images/pspnet.png .. |fpn_image| image:: https://github.com/qubvel/segmentation_models/blob/master/images/fpn.png

骨干网络

.. table::

============= ===== 类型 名称 ============= ===== VGG 'vgg16' 'vgg19' ResNet 'resnet18' 'resnet34' 'resnet50' 'resnet101' 'resnet152' SE-ResNet 'seresnet18' 'seresnet34' 'seresnet50' 'seresnet101' 'seresnet152' ResNeXt 'resnext50' 'resnext101' SE-ResNeXt 'seresnext50' 'seresnext101' SENet154 'senet154' DenseNet 'densenet121' 'densenet169' 'densenet201' Inception 'inceptionv3' 'inceptionresnetv2' MobileNet 'mobilenet' 'mobilenetv2' EfficientNet 'efficientnetb0' 'efficientnetb1' 'efficientnetb2' 'efficientnetb3' 'efficientnetb4' 'efficientnetb5' efficientnetb6' efficientnetb7' ============= =====

.. 引言:: 所有主干网络都使用在2012年ILSVRC ImageNet数据集上预训练的权重（encoder_weights='imagenet'）。

安装

**要求**

1) python 3
2) keras >= 2.2.0 或 tensorflow >= 1.13
3) keras-applications >= 1.0.7, <=1.0.8
4) image-classifiers == 1.0.*
5) efficientnet == 1.0.*

**PyPI 稳定版包**

.. code:: bash

    $ pip install -U segmentation-models

**PyPI 最新版本包**

.. code:: bash

    $ pip install -U --pre segmentation-models

**源码最新版本**

.. code:: bash

    $ pip install git+https://github.com/qubvel/segmentation_models
    
文档

最新的 文档 可以在 Read the Docs <https://segmentation-models.readthedocs.io/en/latest/>__ 上找到。

变更日志

要查看各版本之间的重大变更，请参阅 CHANGELOG.md_

引用
~~~~~~~~

.. code::

    @misc{Yakubovskiy:2019,
      Author = {Pavel Iakubovskii},
      Title = {Segmentation Models},
      Year = {2019},
      Publisher = {GitHub},
      Journal = {GitHub 仓库},
      Howpublished = {\url{https://github.com/qubvel/segmentation_models}}
    } 

许可
~~~~~~~
该项目采用 `MIT 许可证`_ 发布。

.. _CHANGELOG.md: https://github.com/qubvel/segmentation_models/blob/master/CHANGELOG.md
.. _`MIT Licence`: https://github.com/qubvel/segmentation_models/blob/master/LICENSE

segmentation_models 快速上手指南

segmentation_models 是一个基于 Keras 和 TensorFlow 的 Python 库，提供了用于图像分割的神经网络模型。它支持多种主流架构（如 U-Net, FPN, PSPNet, Linknet）和 25 种预训练骨干网络，旨在通过极简的 API 帮助开发者快速构建高性能的分割模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: Python 3.x
• 核心依赖:
  • keras >= 2.2.0 或 tensorflow >= 1.13
  • keras-applications (版本需在 1.0.7 到 1.0.8 之间)
  • image-classifiers == 1.0.*
  • efficientnet == 1.0.*

提示：建议先安装好 tensorflow 或 keras，再安装本库以避免依赖冲突。

安装步骤

1. 使用 PyPI 安装（推荐）

安装稳定版本：

pip install -U segmentation-models

如果需要体验最新功能（预览版）：

pip install -U --pre segmentation-models

2. 使用国内镜像源加速（推荐中国开发者）

为了获得更快的下载速度，建议使用清华或阿里镜像源进行安装：

# 使用清华镜像源安装稳定版
pip install -U segmentation-models -i https://pypi.tuna.tsinghua.edu.cn/simple

# 或使用阿里镜像源
pip install -U segmentation-models -i https://mirrors.aliyun.com/pypi/simple/

3. 从源码安装

如需安装最新的开发版本：

pip install git+https://github.com/qubvel/segmentation_models

基本使用

该库默认会自动检测并导入 keras，如果未找到则尝试使用 tensorflow.keras。你也可以手动指定框架。

1. 快速创建模型

最简单的用法是直接使用默认的 U-Net 模型：

import segmentation_models as sm

# 创建默认的 U-Net 模型
model = sm.Unet()

2. 自定义骨干网络与预训练权重

实际应用中，通常指定骨干网络（Backbone）并使用 ImageNet 预训练权重以加速收敛：

import segmentation_models as sm

# 使用 ResNet34 作为骨干网络，加载 ImageNet 预训练权重
model = sm.Unet('resnet34', encoder_weights='imagenet')

3. 配置输出类别与激活函数

根据任务类型（二分类或多分类）调整输出层：

import segmentation_models as sm

# 场景 A: 二分类分割 (默认)
# classes=1, 激活函数为 sigmoid
model_binary = sm.Unet('resnet34', classes=1, activation='sigmoid')

# 场景 B: 多分类分割 (互斥类别，含背景)
# classes=3 (例如：背景 + 2 个目标类), 激活函数为 softmax
model_multi = sm.Unet('resnet34', classes=3, activation='softmax')

# 场景 C: 多标签分割 (类别可重叠)
# classes=3, 激活函数为 sigmoid
model_multilabel = sm.Unet('resnet34', classes=3, activation='sigmoid')

4. 完整训练流程示例

以下是一个包含数据预处理、模型编译和训练的标准流程：

import segmentation_models as sm

# 1. 选择骨干网络并获取对应的预处理函数
BACKBONE = 'resnet34'
preprocess_input = sm.get_preprocessing(BACKBONE)

# 2. 加载你的数据 (此处仅为示意，需替换为实际数据加载代码)
# x_train, y_train, x_val, y_val = load_data(...)

# 3. 数据预处理
# x_train = preprocess_input(x_train)
# x_val = preprocess_input(x_val)

# 4. 定义模型
model = sm.Unet(BACKBONE, encoder_weights='imagenet')

# 5. 编译模型
# 使用库提供的组合损失函数 (BCE + Jaccard) 和评估指标 (IoU)
model.compile(
    'Adam',
    loss=sm.losses.bce_jaccard_loss,
    metrics=[sm.metrics.iou_score],
)

# 6. 训练模型
# model.fit(
#    x=x_train,
#    y=y_train,
#    batch_size=16,
#    epochs=100,
#    validation_data=(x_val, y_val),
# )

注意：除了 Unet，该库还支持 Linknet, PSPNet 和 FPN 架构，使用方法完全相同，只需将 sm.Unet 替换为相应的类名即可。