DeepLab2：用于深度标注的 TensorFlow 库

DeepLab2 是一个用于深度标注的 TensorFlow 库，旨在为密集像素标注任务提供统一且最先进的 TensorFlow 代码库，这些任务包括但不限于语义分割、实例分割、全景分割、深度估计，甚至视频全景分割。

深度标注是指通过深度神经网络为图像中的每个像素分配预测值来解决计算机视觉问题。只要感兴趣的问题能够以这种方式建模，DeepLab2 就应该能满足需求。此外，该代码库还包含了我们在深度标注方面的最新和最先进研究模型。我们希望它对您的项目有所帮助。

更改日志

• 2022年10月18日：在 模型库 中添加了 kMaX-DeepLab ADE20K 全景分割结果。

• 2022年10月4日：开源 MOAT 模型的 代码 和 ImageNet 预训练权重。我们感谢 Chenglin Yang 的宝贵贡献。

• 2022年8月26日：为 Waymo 开放数据集：全景视频全景分割 添加了 ViP-DeepLab 支持。我们感谢 Jieru Mei、Alex Zhu、Xinchen Yan 和 Hang Yan 的宝贵贡献。

• 2022年8月16日：支持 kMaX-DeepLab 的 Colab 演示。

• 2022年7月12日：开源 k-means Mask Transformer（kMaX-DeepLab）代码和 模型库。

• 2022年7月11日：停止对 Tensorflow 2.5 的支持。请更新至 2.6。

• 2022年4月27日：添加 ViP-DeepLab 演示，并更新 ViP-DeepLab 模型库。

• 2021年9月7日：添加了分割与跟踪质量的 numpy 实现。可在 此处 找到。

• 2021年9月6日：更新了使用 MobileNetv3 主干的 Panoptic-DeepLab 在 Cityscapes 上的结果。

• 2021年8月13日：开源 MaX-DeepLab-L COCO 检查点（在 COCO 验证集上获得 51.3% PQ）。

• 2021年7月26日：为 SemKITTI-DVPS 添加了 ViP-DeepLab 支持。

• 2021年7月7日：KITTI-STEP 和 MOTChallenge-STEP 已经可以使用。

• 2021年6月7日：为 MaX-DeepLab 在 TPU 上添加了匈牙利匹配支持，感谢 Jiquan Ngiam 和 Amil Merchant 的帮助。

• 2021年6月1日：“你好，世界！”DeepLab2 正式公开发布。

安装

请参阅 安装。

数据集准备

数据集需要转换为 TFRecord 格式。以下是一些示例：

• ADE20K
  
• Cityscapes
  
• COCO
  
• KITTI-STEP
  
• MOTChallenge-STEP
  

关于如何转换您自己的数据集的一些指南：

• 您自己的数据集
  

项目

我们列出了一些使用 DeepLab2 的项目。

• Panoptic-DeepLab
  
• Axial-DeepLab
  
• MaX-DeepLab
  
• STEP（Motion-DeepLab）
  
• ViP-DeepLab
  
• kMaX-DeepLab
  

Colab 演示

• kMaX-DeepLab Colab 笔记本，用于使用 COCO 检查点进行即插即用推理。
  

• Panoptic-DeepLab Colab 笔记本，用于使用 Cityscapes 检查点进行即插即用推理。
  

• ViP-DeepLab Colab 笔记本，用于使用 Cityscapes-DVPS 检查点进行即插即用推理。
  

请注意，所有演示中使用的导出模型均处于 CPU 模式。

运行 DeepLab2

请参阅 入门。简而言之，运行以下命令：

要在 GPU 上运行 DeepLab2，应使用以下命令：

python trainer/train.py \
    --config_file=${CONFIG_FILE} \
    --mode={train | eval | train_and_eval | continuous_eval} \
    --model_dir=${BASE_MODEL_DIRECTORY} \
    --num_gpus=${NUM_GPUS}

联系方式（维护者）

如果您在报告问题之前有任何疑问，请查看 常见问题解答。

• Mark Weber，github：markweberdev
• Huiyu Wang，github：csrhddlam
• Siyuan Qiao，github：joe-siyuan-qiao
• Jun Xie，github：clairexie
• Maxwell D. Collins，github：mcollinswisc
• YuKun Zhu，github：yknzhu
• Liangzhe Yuan，github：yuanliangzhe
• Dahun Kim，github：mcahny
• Qihang Yu，github：yucornetto
• Liang-Chieh Chen，github：aquariusjay

免责声明

• 请注意，此库包含我们在 TensorFlow2 中 重新实现 的 DeepLab 模型，因此可能与已发表的论文存在一些细微差异（例如学习率）。

• 这并非 Google 的官方产品。

引用 DeepLab2

如果您发现 DeepLab2 对您的项目有用，请考虑引用 DeepLab2 以及相关的 DeepLab 系列。

• DeepLab2：

@article{deeplab2_2021,
  author={Mark Weber、Huiyu Wang、Siyuan Qiao、Jun Xie、Maxwell D. Collins、Yukun Zhu、Liangzhe Yuan、Dahun Kim、Qihang Yu、Daniel Cremers、Laura Leal-Taixe、Alan L. Yuille、Florian Schroff、Hartwig Adam、Liang-Chieh Chen},
  title={{DeepLab2：用于深度标注的 TensorFlow 库}},
  journal={arXiv: 2106.09748},
  year={2021}
}

参考文献

1. Marius Cordts、Mohamed Omran、Sebastian Ramos、Timo Rehfeld、Markus Enzweiler、Rodrigo Benenson、Uwe Franke、Stefan Roth 和 Bernt Schiele。“用于语义城市场景理解的城市景观数据集”。载于 CVPR，2016 年。

2. Andreas Geiger、Philip Lenz 和 Raquel Urtasun。“我们准备好迎接自动驾驶了吗？KITTI 视觉基准测试套件”。载于 CVPR，2012 年。

3. Jens Behley、Martin Garbade、Andres Milioto、Jan Quenzel、Sven Behnke、Cyrill Stachniss 和 Jurgen Gall。“Semantickitti：用于激光雷达序列语义场景理解的数据集”。载于 ICCV，2019 年。

4. Alexander Kirillov、Kaiming He、Ross Girshick、Carsten Rother 和 Piotr Dollar。“全景分割”。载于 CVPR，2019 年。

5. Dahun Kim、Sanghyun Woo、Joon-Young Lee 和 In So Kweon。“视频全景分割”。载于 CVPR，2020 年。

6. Tsung-Yi Lin、Michael Maire、Serge Belongie、James Hays、Pietro Perona、Deva Ramanan、Piotr Dollar 和 C Lawrence Zitnick。“微软 COCO：上下文中的常见物体”。载于 ECCV，2014 年。

7. Patrick Dendorfer、Aljosa Osep、Anton Milan、Konrad Schindler、Daniel Cremers、Ian Reid、Stefan Roth 和 Laura Leal-Taixe。“MOTChallenge：单摄像头多目标跟踪基准测试”。IJCV，2020 年。

8. Bolei Zhou、Hang Zhao、Xavier Puig、Sanja Fidler、Adela Barriuso 和 Antonio Torralba。“通过 ADE20K 数据集进行场景解析”。载于 CVPR，2017 年。

DeepLab2 快速上手指南

DeepLab2 是一个基于 TensorFlow 的深度学习库，旨在为密集像素标注任务（如语义分割、实例分割、全景分割、深度估计及视频全景分割）提供统一且最先进的代码库。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。
• Python: Python 3.7+。
• TensorFlow: TensorFlow 2.6 或更高版本 (注意：已不再支持 TensorFlow 2.5)。
• 硬件: 推荐使用 NVIDIA GPU 进行训练和推理，需安装对应的 CUDA 和 cuDNN。
• 依赖管理: 建议创建独立的虚拟环境 (如 venv 或 conda)。

国内加速提示: 安装 TensorFlow 或其他 PyPI 包时，建议使用清华源或阿里源以加快下载速度： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库 从 GitHub 获取 DeepLab2 源代码：

   git clone https://github.com/google-research/deeplab2.git
   cd deeplab2
   

2. 安装依赖 虽然官方文档指向具体的安装页面，但通常核心依赖可通过 pip 安装。请确保已安装符合版本的 TensorFlow。

   # 示例：使用国内源安装 tensorflow (请根据显卡型号选择 gpu 或 cpu 版本)
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "tensorflow>=2.6"
   
   # 安装其他潜在依赖 (如有 requirements.txt 请优先使用)
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

   (注：如果仓库根目录没有 requirements.txt，请参考 g3doc/setup/installation.md 中的具体依赖列表进行手动安装)

3. 数据集准备 DeepLab2 要求数据集转换为 TFRecord 格式。官方提供了常见数据集的转换脚本和指南：

   • ADE20K, Cityscapes, COCO, KITTI-STEP 等：参考 g3doc/setup/ 目录下的对应 markdown 文件。
   • 自定义数据集：参考 g3doc/setup/your_own_dataset.md 学习如何转换自有数据。

基本使用

DeepLab2 的核心功能通过 trainer/train.py 脚本启动，支持训练、评估及推理模式。

运行命令

在 GPU 环境下运行 DeepLab2 的基本命令如下：

python trainer/train.py \
    --config_file=${CONFIG_FILE} \
    --mode={train | eval | train_and_eval | continuous_eval} \
    --model_dir=${BASE_MODEL_DIRECTORY} \
    --num_gpus=${NUM_GPUS}

参数说明：

• ${CONFIG_FILE}: 模型配置文件的路径（位于 configs/ 目录下，例如 configs/cityscapes/panoptic_deeplab_R103_os16_mscrop.yaml）。
• --mode: 运行模式。
  • train: 仅训练。
  • eval: 仅评估。
  • train_and_eval: 训练并评估。
• ${BASE_MODEL_DIRECTORY}: 模型检查点和日志的输出目录。
• ${NUM_GPUS}: 使用的 GPU 数量。

快速体验 (Colab Demo)

如果您希望在不配置本地环境的情况下快速测试预训练模型，可以使用官方提供的 Colab Notebook：

• COCO 数据集 (kMaX-DeepLab): 打开 Colab
• Cityscapes 数据集 (Panoptic-DeepLab): 打开 Colab
• 视频全景分割 (ViP-DeepLab): 打开 Colab

注意: Colab 演示中导出的模型默认运行在 CPU 模式下，适合小规模推理测试。

常用项目模型

您可以根据任务需求在 configs/ 目录选择对应的配置文件：

• 全景分割: Panoptic-DeepLab, MaX-DeepLab, kMaX-DeepLab
• 视频全景分割: ViP-DeepLab, STEP (Motion-DeepLab)
• 轴注意力机制: Axial-DeepLab