BiSeNetV1 和 BiSeNetV2

我对 BiSeNetV1 和 BiSeNetV2 的实现。

在 Cityscapes 验证集上的 mIOU 和 FPS：

无	ss	ssc	msf	mscf	FPS（fp32/fp16/int8）	链接
bisenetv1	75.44	76.94	77.45	78.86	112/239/435	下载
bisenetv2	74.95	75.58	76.53	77.08	103/161/198	下载

在 COCO-Stuff val2017 集上的 mIOU：

无	ss	ssc	msf	mscf	链接
bisenetv1	31.49	31.42	32.46	32.55	下载
bisenetv2	30.49	30.55	31.81	31.73	下载

在 ADE20K 验证集上的 mIOU：

无	ss	ssc	msf	mscf	链接
bisenetv1	36.15	36.04	37.27	36.58	下载
bisenetv2	32.53	32.43	33.23	31.72	下载

提示：

1. ss 表示单尺度评估，ssc 表示单尺度裁剪评估，msf 表示带翻转变换的多尺度评估，mscf 表示带翻转变换的多尺度裁剪评估。多尺度评估的尺度和裁剪尺寸可在 configs 中找到。

2. FPS 的测试方法与论文中的不同。更多信息请参见 here。

3. BiSeNetV2 的作者使用的是 COCO-Stuff-10k 数据集，而我使用的是 COCO-Stuff-123k（具体如何划分不清楚，但训练集和验证集的图像数量与目标检测任务相同）。因此，结果可能与论文有所不同。

4. 作者未报告 ADE20K 上的结果，因此没有官方的训练设置。这里我只是提供了一个“能跑通”的结果。或许通过更好的设置，ADE20K 上的结果还能进一步提升。

5. 模型存在较大的方差，这意味着多次训练的结果可能会有较大的波动。例如，如果你在 Cityscapes 数据集上多次训练 BiSeNetV2，你会发现其 ss 评估结果会在 73.1 到 75.1 之间变化。

部署训练好的模型

1. TensorRT
   详细信息请参见 tensorrt。

2. NCNN
   详细信息请参见 ncnn。

3. OpenVINO
   详细信息请参见 openvino。

4. TIS
   Triton 推理服务器（TIS）提供了一种部署服务解决方案。详细信息请参见 tis。

平台

我的运行环境如下：

• Ubuntu 18.04
• NVIDIA Tesla T4 GPU，驱动版本 450.80.02
• CUDA 10.2/11.3
• cuDNN 8
• Miniconda Python 3.8.8
• PyTorch 1.11.0

开始使用

有了预训练权重后，你可以对单张图片进行推理，命令如下：

$ python tools/demo.py --config configs/bisenetv2_city.py --weight-path /path/to/your/weights.pth --img-path ./example.png

这将会对图片进行推理，并将结果保存为 ./res.jpg。

你也可以对视频进行推理，命令如下：

$ python tools/demo_video.py --config configs/bisenetv2_coco.py --weight-path res/model_final.pth --input ./video.mp4 --output res.mp4

这将会生成分割后的视频文件 res.mp4。如果你想从摄像头输入，可以将 --input 设置为摄像头 ID，而不是 input ./video.mp4。

准备数据集

1. Cityscapes

从官方网站 website 注册并下载数据集，然后将其解压到 datasets/cityscapes 目录下：

$ mv /path/to/leftImg8bit_trainvaltest.zip datasets/cityscapes
$ mv /path/to/gtFine_trainvaltest.zip datasets/cityscapes
$ cd datasets/cityscapes
$ unzip leftImg8bit_trainvaltest.zip
$ unzip gtFine_trainvaltest.zip

2. COCO-Stuff

从官方网站 website 下载 train2017.zip、val2017.zip 和 stuffthingmaps_trainval2017.zip。然后按照以下步骤操作：

$ unzip train2017.zip
$ unzip val2017.zip
$ mv train2017/ /path/to/BiSeNet/datasets/coco/images
$ mv val2017/ /path/to/BiSeNet/datasets/coco/images

$ unzip stuffthingmaps_trainval2017.zip
$ mv train2017/ /path/to/BiSeNet/datasets/coco/labels
$ mv val2017/ /path/to/BiSeNet/datasets/coco/labels

$ cd /path/to/BiSeNet
$ python tools/gen_dataset_annos.py --dataset coco

3. ADE20K

从这个 网站 下载 ADEChallengeData2016.zip 并解压。然后将解压后的文件夹移动到 datasets/ade20k，并使用我为你准备的脚本生成标注文件：

$ unzip ADEChallengeData2016.zip
$ mv ADEChallengeData2016/images /path/to/BiSeNet/datasets/ade20k/
$ mv ADEChallengeData2016/annotations /path/to/BiSeNet/datasets/ade20k/
$ python tools/gen_dataset_annos.py --dataset ade20k

4. 自定义数据集

如果你想用自己的数据集进行训练，需要先生成标注文件，格式如下：

munster_000002_000019_leftImg8bit.png,munster_000002_000019_gtFine_labelIds.png
frankfurt_000001_079206_leftImg8bit.png,frankfurt_000001_079206_gtFine_labelIds.png
...

每行是一对训练样本和真实标签图像路径，用逗号 , 分隔。

建议你使用以下脚本来检查数据集信息：

$ python tools/check_dataset_info.py --im_root /path/to/your/data_root --im_anns /path/to/your/anno_file

这会打印出一些关于你的数据集的信息。

然后你需要修改配置文件中的 im_root 和 train/val_im_anns 字段。我为你准备了一个示例配置文件 bisenet_customer.py，你可以从这个配置文件开始。

训练

我用于训练模型的命令可以在 here 找到。

注意：

1. 尽管 bisenetv2 的浮点运算量较少，但它需要更多的训练轮次。因此，bisenetv1 的训练时间更短。
2. 我使用总批次大小为 16 来训练所有模型。由于 COCO-Stuff 有 171 个类别，训练时需要更多的显存。因此，我将 16 张图片分配到多于 2 张 GPU 上进行训练，就像在 Cityscapes 上那样。

从已训练模型微调

你也可以加载已训练的模型权重并在此基础上进行微调，命令如下：

$ export CUDA_VISIBLE_DEVICES=0,1
$ torchrun --nproc_per_node=2 tools/train_amp.py --finetune-from ./res/model_final.pth --config ./configs/bisenetv2_city.py # 或 bisenetv1

评估预训练模型

你也可以这样评估一个训练好的模型：

$ python tools/evaluate.py --config configs/bisenetv1_city.py --weight-path /path/to/your/weight.pth

或者你可以使用多张GPU：

$ torchrun --nproc_per_node=2 tools/evaluate.py --config configs/bisenetv1_city.py --weight-path /path/to/your/weight.pth

请注意，这是原始代码库的重构版本。如果你需要，可以前往 old 目录查看原始实现，不过我认为你可能不需要它。

BiSeNet 快速上手指南

BiSeNet (Bilateral Segmentation Network) 是一种专为实时语义分割设计的高效网络架构，包含 V1 和 V2 两个版本。本指南基于 CoinCheung 的 PyTorch 实现，帮助开发者快速完成环境配置、模型推理及数据集准备。

环境准备

本项目依赖 Linux 系统、NVIDIA GPU 及 PyTorch 框架。作者测试平台如下，建议参考此配置以确保兼容性：

• 操作系统: Ubuntu 18.04
• GPU: NVIDIA Tesla T4 (驱动版本 450.80.02)
• CUDA/cuDNN: CUDA 10.2/11.3, cuDNN 8
• Python: 3.8.8 (推荐通过 Miniconda 管理)
• PyTorch: 1.11.0

前置依赖安装： 建议使用国内镜像源加速 PyTorch 及相关依赖的安装。

# 创建并激活虚拟环境
conda create -n bisenet python=3.8 -y
conda activate bisenet

# 安装 PyTorch (根据实际 CUDA 版本选择，此处以 CUDA 11.3 为例，使用清华镜像)
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 -f https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他依赖 (假设项目根目录有 requirements.txt，若无则需手动安装 opencv-python 等)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
# 若无非 requirements.txt，至少需要安装：
pip install opencv-python numpy tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库

   git clone https://github.com/CoinCheung/BiSeNet.git
   cd BiSeNet
   

2. 下载预训练权重 根据需求选择 Cityscapes、COCOStuff 或 ADE20K 数据集的预训练模型。以下以 Cityscapes 数据集的 BiSeNetV2 为例：

   mkdir -p res
   # 使用 wget 下载 (也可手动下载后放入 res 目录)
   wget -O res/model_final_v2_city.pth https://github.com/CoinCheung/BiSeNet/releases/download/0.0.0/model_final_v2_city.pth
   

基本使用

1. 单张图片推理

使用预训练权重对单张图片进行语义分割，结果将保存为 ./res.jpg。

python tools/demo.py --config configs/bisenetv2_city.py --weight-path res/model_final_v2_city.pth --img-path ./example.png

2. 视频推理

对视频文件进行实时分割处理，输出结果为 res.mp4。若需调用摄像头，可将 --input 参数设为摄像头 ID（如 0）。

python tools/demo_video.py --config configs/bisenetv2_coco.py --weight-path res/model_final.pth --input ./video.mp4 --output res.mp4

3. 准备数据集 (以 Cityscapes 为例)

若要重新训练或微调，需先准备数据。注册并下载 Cityscapes 数据集后，按以下结构解压：

# 假设已下载 leftImg8bit_trainvaltest.zip 和 gtFine_trainvaltest.zip
mv /path/to/leftImg8bit_trainvaltest.zip datasets/cityscapes
mv /path/to/gtFine_trainvaltest.zip datasets/cityscapes
cd datasets/cityscapes
unzip leftImg8bit_trainvaltest.zip
unzip gtFine_trainvaltest.zip

注：COCOStuff 和 ADE20K 数据集的准备请参考项目原文档中的 prepare dataset 章节，需运行 tools/gen_dataset_annos.py 生成标注文件。

4. 模型评估

在验证集上评估预训练模型的性能（支持多 GPU）：

# 单卡评估
python tools/evaluate.py --config configs/bisenetv1_city.py --weight-path /path/to/your/weight.pth

# 多卡评估 (例如使用 2 张卡)
torchrun --nproc_per_node=2 tools/evaluate.py --config configs/bisenetv1_city.py --weight-path /path/to/your/weight.pth

5. 微调训练

基于预训练权重进行微调（Fine-tune）：

export CUDA_VISIBLE_DEVICES=0,1
torchrun --nproc_per_node=2 tools/train_amp.py --finetune-from ./res/model_final.pth --config ./configs/bisenetv2_city.py

提示：BiSeNetV2 虽然计算量较小，但需要更多的训练迭代次数；BiSeNetV1 训练时间相对较短。训练时默认总 batch size 为 16，显存不足时请调整配置文件或增加 GPU 数量。