SiamMask

新： 现在包含训练和推理的代码！

这是 SiamMask（CVPR2019）的官方实现，包含训练代码。有关技术细节，请参阅：

SiamMask：一种用于快速在线目标跟踪与分割的框架
Weiming Hu、Qiang Wang、Li Zhang、Luca Bertinetto、Philip H.S. Torr（* 表示共同第一作者）
TPAMI 2023
[论文] [ArXiv]

快速在线目标跟踪与分割：一种统一的方法
Qiang Wang、Li Zhang、Luca Bertinetto、Weiming Hu、Philip H.S. Torr（* 表示共同第一作者）
CVPR 2019
[论文] [视频] [项目页面]

Bibtex

如果您觉得此代码有用，请考虑引用：

@article{hu2023siammask,
  title={Siammask: A framework for fast online object tracking and segmentation},
  author={Hu, Weiming and Wang, Qiang and Zhang, Li and Bertinetto, Luca and Torr, Philip HS},
  journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},
  volume={45},
  number={3},
  pages={3072--3089},
  year={2023},
  publisher={IEEE}
}

@inproceedings{wang2019fast,
    title={Fast online object tracking and segmentation: A unifying approach},
    author={Wang, Qiang and Zhang, Li and Bertinetto, Luca and Hu, Weiming and Torr, Philip HS},
    booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
    year={2019}
}

目录

1. 环境设置
2. 演示
3. 模型测试
4. 模型训练

环境设置

此代码已在 Ubuntu 16.04、Python 3.6、Pytorch 0.4.1、CUDA 9.2 和 RTX 2080 显卡上测试通过。

• 克隆仓库

git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD

• 设置 Python 环境

conda create -n siammask python=3.6
source activate siammask
pip install -r requirements.txt
bash make.sh

• 将项目添加到 PYTHONPATH

export PYTHONPATH=$PWD:$PYTHONPATH

演示

• 按照 环境设置 配置您的环境。
• 下载 SiamMask 模型：

cd $SiamMask/experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

• 运行 demo.py：

cd $SiamMask/experiments/siammask_sharp
export PYTHONPATH=$PWD:$PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

测试

• 按照 环境设置 配置您的环境。
• 下载测试数据：

cd $SiamMask/data
sudo apt-get install jq
bash get_test_data.sh

• 下载预训练模型：

cd $SiamMask/experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_VOT_LD.pth
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

• 在 VOT 上评估性能：

bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2016 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2018 0
bash test_mask_refine.sh config_vot.json SiamMask_VOT.pth VOT2019 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2016 0
bash test_mask_refine.sh config_vot18.json SiamMask_VOT_LD.pth VOT2018 0
python ../../tools/eval.py --dataset VOT2016 --tracker_prefix C --result_dir ./test/VOT2016
python ../../tools/eval.py --dataset VOT2018 --tracker_prefix C --result_dir ./test/VOT2018
python ../../tools/eval.py --dataset VOT2019 --tracker_prefix C --result_dir ./test/VOT2019

• 在 DAVIS 上评估性能（耗时少于 50 秒）：

bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2016 0
bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth DAVIS2017 0

• 在 Youtube-VOS 上评估性能（需从 网站 下载数据）：

bash test_mask_refine.sh config_davis.json SiamMask_DAVIS.pth ytb_vos 0

结果

这些是从本仓库复现的结果。所有结果都可以从我们的项目页面下载。

跟踪器	VOT2016 EAO / A / R	VOT2018 EAO / A / R	DAVIS2016 J / F	DAVIS2017 J / F	Youtube-VOS J_s / J_u / F_s / F_u	速度
SiamMask-box	0.412/0.623/0.233	0.363/0.584/0.300	- / -	- / -	- / - / - / -	77 FPS
SiamMask	0.433/0.639/0.214	0.380/0.609/0.276	0.713/0.674	0.543/0.585	0.602/0.451/0.582/0.477	56 FPS
SiamMask-LD	0.455/0.634/0.219	0.423/0.615/0.248	- / -	- / -	- / - / - / -	56 FPS

注：

• 速度测试是在 NVIDIA RTX 2080 上进行的。
• -box 报告的是来自边界框分支的轴对齐边界框。
• -LD 表示使用大型数据集（ytb-bb+ytb-vos+vid+coco+det）进行训练。

训练

训练数据

• 下载 Youtube-VOS、 COCO、 ImageNet-DET 和 ImageNet-VID 数据集。
• 按照 readme 文件中的说明对每个数据集进行预处理。

下载预训练模型（174 MB）

（该模型是在 ImageNet-1k 数据集上训练的）

cd $SiamMask/experiments
wget http://www.robots.ox.ac.uk/~qwang/resnet.model
ls | grep siam | xargs -I {} cp resnet.model {}

训练 SiamMask 基础模型

• 设置 您的环境
• 从实验目录中运行

cd $SiamMask/experiments/siammask_base/
bash run.sh

• 在我们的 4 张 Tesla V100 GPU 上，训练大约需要 10 小时。
• 如果遇到内存不足的错误，可以在 run.sh 中减小批量大小。
• 您可以通过 TensorBoard 查看训练进度（日志位于 /logs/）。
• 训练完成后，您可以在 VOT 数据集上测试检查点。

bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4  # 使用 4 张 GPU 测试所有快照

• 选择最佳模型进行超参数搜索。

#bash test_all.sh -m [best_test_model] -d VOT2018 -n [thread_num] -g [gpu_num] # 8 线程，4 张 GPU
bash test_all.sh -m snapshot/checkpoint_e12.pth -d VOT2018 -n 8 -g 4 # 8 线程，4 张 GPU

训练带有 Refine 模块的 SiamMask 模型

• 设置 您的环境
• 在实验文件中，使用最佳的 SiamMask 基础模型进行训练

cd $SiamMask/experiments/siammask_sharp
bash run.sh <best_base_model>
bash run.sh checkpoint_e12.pth

• 您可以通过 TensorBoard 查看训练进度（日志位于 /logs/）。
• 训练完成后，您可以在 VOT 数据集上测试检查点。

bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

训练 SiamRPN++ 模型（非官方）

• 设置 您的环境
• 从实验目录中运行

cd $SiamMask/experiments/siamrpn_resnet
bash run.sh

• 您可以通过 TensorBoard 查看训练进度（日志位于 /logs/）。
• 训练完成后，您可以在 VOT 数据集上测试检查点。

bash test_all.sh -h
bash test_all.sh -s 1 -e 20 -d VOT2018 -g 4

许可证

根据 MIT 许可证授权。

SiamMask 快速上手指南

SiamMask 是一个用于快速在线目标跟踪与分割的统一框架，支持训练和推理。本指南将帮助开发者快速搭建环境并运行演示。

环境准备

本项目已在以下环境中测试通过：

• 操作系统: Ubuntu 16.04 (推荐 Ubuntu 18.04/20.04)
• Python: 3.6
• PyTorch: 0.4.1 (注意版本较老，建议严格匹配或使用兼容环境)
• CUDA: 9.2
• GPU: NVIDIA RTX 2080 或更高

前置依赖:

• Git
• Conda (推荐用于环境管理)
• jq (用于数据处理脚本)

安装步骤

1. 克隆仓库

git clone https://github.com/foolwood/SiamMask.git && cd SiamMask
export SiamMask=$PWD

2. 创建并激活虚拟环境

conda create -n siammask python=3.6
conda activate siammask

3. 安装 Python 依赖

建议使用国内镜像源加速安装（如清华源）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. 编译扩展模块

bash make.sh

5. 配置环境变量

将项目路径加入 PYTHONPATH：

export PYTHONPATH=$PWD:$PYTHONPATH

基本使用 (Demo)

以下是最简单的运行示例，使用预训练模型在视频上进行目标跟踪与分割演示。

1. 下载预训练模型

进入实验目录并下载针对 DAVIS 数据集优化的模型：

cd $SiamMask/experiments/siammask_sharp
wget http://www.robots.ox.ac.uk/~qwang/SiamMask_DAVIS.pth

(注：如果下载速度慢，可尝试手动下载后上传至服务器)

2. 运行演示脚本

确保当前目录下有配置文件 config_davis.json (通常仓库中已包含)，然后执行：

cd $SiamMask/experiments/siammask_sharp
export PYTHONPATH=$PWD:$PYTHONPATH
python ../../tools/demo.py --resume SiamMask_DAVIS.pth --config config_davis.json

运行成功后，程序将弹出窗口显示实时跟踪与分割结果。按任意键可退出演示。