STARK

ICCV2021 论文 《用于视觉跟踪的时空Transformer学习》 的官方实现，论文链接：Learning Spatio-Temporal Transformer for Visual Tracking

现招聘视觉Transformer相关研究实习生：houwen.peng@microsoft.com

新闻

• STARK 已被集成到 mmtracking 库中！
• :trophy: 我们在 VOT-21 RGB-D 挑战赛中夺冠
• :trophy: 我们在 VOT-21 实时和长期跟踪挑战赛中获得亚军
• 我们发布了 STARK 的极速版本 STARK-Lightning :zap: 。在 RTX TITAN GPU 上，它能够以 200~300 FPS 的速度运行。
  此外，其性能甚至超越 DiMP50，而模型大小却比 SiamFC 还小！
  更多详情请参阅 STARK_Lightning_En.md/中文教程
• STARK 及其他跟踪器在 NOTU 数据集（NFS、OTB100、TC128、UAV123）上的原始结果已上传至 这里

亮点

端到端，无需后处理

STARK 是一种 端到端 的跟踪方法，直接预测出一个精确的边界框作为跟踪结果。
此外，STARK 不使用任何对超参数敏感的后处理步骤，因此性能非常稳定。

实时速度

STARK-ST50 和 STARK-ST101 分别在 Tesla V100 GPU 上以 40FPS 和 30FPS 的速度运行。

强大的性能

跟踪器	LaSOT (AUC)	GOT-10K (AO)	TrackingNet (AUC)
STARK	67.1	68.8	82.0
TransT	64.9	67.1	81.4
TrDiMP	63.7	67.1	78.4
Siam R-CNN	64.8	64.9	81.2

纯 PyTorch 实现

STARK 完全基于 PyTorch 实现。

环境安装

选项1：使用 Anaconda

conda create -n stark python=3.6
conda activate stark
bash install_pytorch17.sh

选项2：使用 Docker 文件

我们提供了完整的 Docker 镜像，地址为 这里

数据准备

将跟踪数据集放置在 ./data 目录下，目录结构应如下所示：

${STARK_ROOT}
 -- data
     -- lasot
         |-- airplane
         |-- basketball
         |-- bear
         ...
     -- got10k
         |-- test
         |-- train
         |-- val
     -- coco
         |-- annotations
         |-- images
     -- trackingnet
         |-- TRAIN_0
         |-- TRAIN_1
         ...
         |-- TRAIN_11
         |-- TEST

设置项目路径

运行以下命令以设置该项目的路径：

python tracking/create_default_local_file.py --workspace_dir . --data_dir ./data --save_dir .

执行此命令后，您还可以通过编辑以下两个文件来修改路径：

lib/train/admin/local.py  # 训练相关路径
lib/test/evaluation/local.py  # 测试相关路径

训练 STARK

使用 DDP 多 GPU 训练

# STARK-S50
python tracking/train.py --script stark_s --config baseline --save_dir . --mode multiple --nproc_per_node 8  # STARK-S50
# STARK-ST50
python tracking/train.py --script stark_st1 --config baseline --save_dir . --mode multiple --nproc_per_node 8  # STARK-ST50 第一阶段
python tracking/train.py --script stark_st2 --config baseline --save_dir . --mode multiple --nproc_per_node 8 --script_prv stark_st1 --config_prv baseline  # STARK-ST50 第二阶段
# STARK-ST101
python tracking/train.py --script stark_st1 --config baseline_R101 --save_dir . --mode multiple --nproc_per_node 8  # STARK-ST101 第一阶段
python tracking/train.py --script stark_st2 --config baseline_R101 --save_dir . --mode multiple --nproc_per_node 8 --script_prv stark_st1 --config_prv baseline_R101  # STARK-ST101 第二阶段

（可选）使用单 GPU 调试训练

python tracking/train.py --script stark_s --config baseline --save_dir . --mode single

在基准测试上测试和评估 STARK

• LaSOT

python tracking/test.py stark_st baseline --dataset lasot --threads 32
python tracking/analysis_results.py # 需要修改跟踪器配置和名称

• GOT10K-test

python tracking/test.py stark_st baseline_got10k_only --dataset got10k_test --threads 32
python lib/test/utils/transform_got10k.py --tracker_name stark_st --cfg_name baseline_got10k_only

• TrackingNet

python tracking/test.py stark_st baseline --dataset trackingnet --threads 32
python lib/test/utils/transform_trackingnet.py --tracker_name stark_st --cfg_name baseline

• VOT2020
  在评估“STARK+AR”在 VOT2020 上的表现之前，请按照 external/AR/README.md 安装一些额外的包。

cd external/vot20/<workspace_dir>
export PYTHONPATH=<stark项目路径>:$PYTHONPATH
bash exp.sh

• VOT2020-LT

cd external/vot20_lt/<workspace_dir>
export PYTHONPATH=<stark项目路径>:$PYTHONPATH
bash exp.sh

测试 FLOPs、参数量和速度

# 对 STARK-S50 模型进行性能分析
python tracking/profile_model.py --script stark_s --config baseline
# 对 STARK-ST50 模型进行性能分析
python tracking/profile_model.py --script stark_st2 --config baseline
# 对 STARK-ST101 模型进行性能分析
python tracking/profile_model.py --script stark_st2 --config baseline_R101
# 对 STARK-Lightning-X-trt 进行性能分析
python tracking/profile_model_lightning_X_trt.py

模型库

训练好的模型、训练日志以及原始跟踪结果均在 模型库 中提供。

致谢

• 感谢优秀的 PyTracking 库，它帮助我们快速实现了自己的想法。
• 我们使用了来自官方仓库 https://github.com/facebookresearch/detr 的 DETR 实现。

STARK 快速上手指南

STARK 是 ICCV 2021 论文《Learning Spatio-Temporal Transformer for Visual Tracking》的官方实现。它是一个端到端的视觉目标跟踪器，无需后处理即可直接预测精确边界框，在 LaSOT、GOT-10k 和 TrackingNet 等基准测试中表现优异。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• Python: 3.6+
• GPU: 支持 CUDA 的 NVIDIA GPU (训练推荐多卡，如 Tesla V100；推理单卡即可)
• 框架: PyTorch 1.7+

前置依赖

确保已安装 conda 或 docker。若使用国内网络，建议在创建环境时配置清华或阿里镜像源以加速下载。

安装步骤

方案一：使用 Conda（推荐）

1. 创建并激活虚拟环境：

conda create -n stark python=3.6
conda activate stark

2. 安装 PyTorch 及相关依赖（执行官方提供的脚本）：

bash install_pytorch17.sh

提示：若 install_pytorch17.sh 执行缓慢，可手动使用国内源安装 PyTorch 1.7： pip install torch==1.7.1 torchvision==0.8.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

方案二：使用 Docker

直接使用预构建的镜像：

docker pull alphabin/stark

基本使用

1. 数据准备

将数据集放置在项目根目录下的 ./data 文件夹中，目录结构应如下所示：

${STARK_ROOT}
 -- data
     -- lasot
         |-- airplane
         |-- basketball
         ...
     -- got10k
         |-- test
         |-- train
         |-- val
     -- coco
         |-- annotations
         |-- images
     -- trackingnet
         |-- TRAIN_0
         ...
         |-- TEST

2. 配置路径

运行以下命令生成默认本地配置文件，并根据实际路径修改（如需）：

python tracking/create_default_local_file.py --workspace_dir . --data_dir ./data --save_dir .

注：如需自定义路径，可编辑 lib/train/admin/local.py (训练) 和 lib/test/evaluation/local.py (测试)。

3. 模型训练

支持多卡分布式训练 (DDP)。以下是训练 STARK-ST50 的两阶段示例：

第一阶段：

python tracking/train.py --script stark_st1 --config baseline --save_dir . --mode multiple --nproc_per_node 8

第二阶段：

python tracking/train.py --script stark_st2 --config baseline --save_dir . --mode multiple --nproc_per_node 8 --script_prv stark_st1 --config_prv baseline

单卡调试模式：

python tracking/train.py --script stark_s --config baseline --save_dir . --mode single

4. 模型测试与评估

以 LaSOT 数据集为例进行测试和结果分析：

执行测试：

python tracking/test.py stark_st baseline --dataset lasot --threads 32

分析结果：

python tracking/analysis_results.py

注意：运行分析脚本前，可能需要根据提示修改 tracker 的配置名称。

5. 性能分析 (可选)

查看模型的 FLOPs、参数量和推理速度：

# 分析 STARK-S50
python tracking/profile_model.py --script stark_s --config baseline

# 分析 STARK-ST50
python tracking/profile_model.py --script stark_st2 --config baseline

训练好的模型权重、日志及原始测试结果可在项目的 Model Zoo 中获取。