泰国追踪器

• NanoTrackV1

实验

• NanoTrack 是一种轻量级、高速的跟踪网络，主要参考了 SiamBAN 和 LightTrack。它非常适合部署在嵌入式或移动设备上。实际上，V1 和 V2 在 Apple M1 CPU 上可以运行在 > 200FPS。

跟踪器	主干网络大小(*.onnx)	头部大小 (*.onnx)	FLOPs	参数量
NanoTrackV1	752K	384K	75.6M	287.9K
NanoTrackV2	1.0M	712K	84.6M	334.1K
NanoTrackV3	1.4M	1.1M	115.6M	541.4K

• 实验表明，NanoTrack 在跟踪数据集上表现良好。

跟踪器	主干网络	模型大小(*.pth)	VOT2018 EAO	VOT2019 EAO	GOT-10k-Val AO	GOT-10k-Val SR	DTB70 精度	DTB70 准确率
NanoTrackV1	MobileNetV3	2.4MB	0.311	0.247	0.604	0.724	0.532	0.727
NanoTrackV2	MobileNetV3	2.0MB	0.352	0.270	0.680	0.817	0.584	0.753
NanoTrackV3	MobileNetV3	3.4MB	0.449	0.296	0.719	0.848	0.628	0.815
CVPR2021 LightTrack	MobileNetV3	7.7MB	0.418	0.328	0.75	0.877	0.591	0.766
WACV2022 SiamTPN	ShuffleNetV2	62.2MB	0.191	0.209	0.728	0.865	0.572	0.728
ICRA2021 SiamAPN	AlexNet	118.7MB	0.248	0.235	0.622	0.708	0.585	0.786
IROS2021 SiamAPN++	AlexNet	187MB	0.268	0.234	0.635	0.73	0.594	0.791

• 对于 NanoTrackV1，我们提供了基于 ncnn 推理框架的 Android 示例 和 MacOS 示例。

• 我们还提供了 PyTorch 代码。该代码训练友好，且相比其他模型所需的 GPU 显存更少。NanoTrackV1 仅使用 GOT-10k 数据集进行训练，在 RTX3090 上只需两小时即可完成。

OpenCV API

• https://docs.opencv.org/4.x/d8/d69/classcv_1_1TrackerNano.html

数据集

• 所有 json 文件 百度网盘 提取码：xm5w（这些 json 文件由 pysot 提供）

测试

• OTB2015 百度网盘 提取码：t5i1

• VOT2016 百度网盘 提取码：v7vq

• VOT2018 百度网盘 提取码：e5eh

• VOT2019 百度网盘 提取码：p4fi

• VOT2020 百度网盘 提取码：x93i

• UAV123 百度网盘 提取码：2iq4

• DTB70 百度网盘 提取码：e7qm

• UAVDT 百度网盘 提取码：keva

• VisDrone2019 百度网盘 提取码：yxb6

• TColor128 百度网盘 提取码：26d4

• NFS 百度网盘 提取码：vng1

训练

• GOT10k 百度网盘 提取码：uxds

• LaSOT 百度网盘 提取码：ygtx

• ILSVRC2015 VID 百度网盘 提取码：uqzj

• ILSVRC2015 DET 百度网盘 提取码：6fu7

• YTB-Crop511 百度网盘 提取码：ebq1

• COCO 百度网盘 提取码：ggya

• TrackingNet 百度网盘 提取码：nkb9 （请注意，此链接由 SiamFCpp 的作者提供）

掩膜

• YTB-VOS 百度网盘 提取码：sf1m

• DAVIS2017 百度网盘 提取码：c9qp

工具包

Matlab 版本

• OTB2013/2015 Github

• UAVDT 百度网盘 提取码：ehit

• VOT2016-工具包 百度网盘 提取码：272e

• VOT2018-工具包 百度网盘 提取码：xpkb

Python 版本

• pysot-工具包：支持 OTB、VOT、UAV、NfS、LaSOT。百度网盘 提取码：2t2q

• got10k-工具包：支持 GOT-10k、OTB、VOT、UAV、TColor、DTB、NfS、LaSOT 和 TrackingNet。百度网盘 提取码：vsar

论文

百度网盘 提取码：fukj

参考文献

[1] SiamFC

Bertinetto L, Valmadre J, Henriques J F, 等. 用于目标跟踪的全卷积孪生网络. 欧洲计算机视觉会议. Springer, Cham, 2016: 850-865.
   
[2] SiamRPN

Li B, Yan J, Wu W, 等. 基于孪生区域建议网络的高性能视觉跟踪. IEEE计算机视觉与模式识别会议论文集. 2018: 8971-8980.

[3] DaSiamRPN

Zhu Z, Wang Q, Li B, 等. 针对视觉目标跟踪的干扰物感知孪生网络. 欧洲计算机视觉会议（ECCV）论文集. 2018: 101-117.

[4] UpdateNet

Zhang L, Gonzalez-Garcia A, Weijer J, 等. 孪生跟踪器模型更新的学习. IEEE国际计算机视觉会议论文集. 2019: 4010-4019.
   
[5] SiamDW

Zhang Z, Peng H. 用于实时视觉跟踪的更深更宽的孪生网络. IEEE计算机视觉与模式识别会议论文集. 2019: 4591-4600.

[6] SiamRPNpp

Li B, Wu W, Wang Q, 等. SiamRPNpp：基于超深网络的孪生视觉跟踪演进. IEEE计算机视觉与模式识别会议论文集. 2019: 4282-4291.

[7] SiamMask

Wang Q, Zhang L, Bertinetto L, 等. 快速在线目标跟踪与分割：一种统一的方法. IEEE计算机视觉与模式识别会议论文集. 2019: 1328-1338。
   
[8] SiamFCpp

Xu Y, Wang Z, Li Z, 等. SiamFCpp：基于目标估计指导的鲁棒且精确的视觉跟踪. AAAI, 2020.

[9] SiamCAR
Guo D ,  Wang J ,  Cui Y , 等. SiamCAR：用于视觉跟踪的孪生全卷积分类与回归. IEEE计算机视觉与模式识别会议论文集.2020。

[10] SiamBAN
Chen Z, Zhong B, Li G, 等. 用于视觉跟踪的孪生框自适应网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集. 2020: 6668-6677.

[11] TrTr 
Zhao M, Okada K, Inaba M. TrTr：基于Transformer的视觉跟踪[J]. arXiv预印本arXiv:2105.03817, 2021。

[12] LightTrack 
Yan B, Peng H, Wu K, 等. Lighttrack：通过一次性架构搜索寻找用于目标跟踪的轻量级神经网络[C]//IEEE/CVF计算机视觉与模式识别会议论文集. 2021：15180-15189。

SiamTrackers (NanoTrack) 快速上手指南

SiamTrackers 是一个轻量级、高速的目标跟踪项目，核心模型 NanoTrack 专为嵌入式和移动设备设计。它在 Apple M1 CPU 上运行速度可超过 200 FPS，同时保持了优异的跟踪精度。

1. 环境准备

系统要求

• 操作系统: Linux, macOS, Windows (推荐 Linux 或 macOS 以获得最佳性能)
• 硬件:
  • 训练：建议 NVIDIA GPU (如 RTX 3090)，显存要求低。
  • 推理：支持 CPU (包括 Apple M1/M2) 和 GPU。
• Python 版本: 3.6+

前置依赖

请确保已安装以下基础库：

• PyTorch (>= 1.6.0)
• OpenCV-Python
• NumPy
• SciPy
• Matplotlib

若使用国内网络环境，推荐使用清华源加速安装：

pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install opencv-python numpy scipy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：若需部署到移动端或嵌入式设备，需额外安装 ncnn 推理框架。

2. 安装步骤

克隆项目代码并进入目录：

git clone https://github.com/HonglinChu/SiamTrackers.git
cd SiamTrackers/NanoTrack

该项目结构清晰，无需复杂的 setup.py 安装过程。主要代码位于 NanoTrack 目录下。

下载预训练模型

作者提供了基于 GOT-10k 数据集训练的权重文件（.pth）。

• NanoTrackV1: 约 2.4MB
• NanoTrackV2: 约 2.0MB
• NanoTrackV3: 约 3.4MB

模型文件通常需在项目 Release 页面或通过百度网盘获取（参考原文 Dataset 部分链接），下载后放入项目指定的 models 或 pretrain 文件夹中。

3. 基本使用

Python 推理示例

以下是最简单的加载模型并进行单帧跟踪的逻辑示意（具体脚本请参考仓库内的 test.py 或 demo.py）：

import torch
import cv2
from models.nano_track import NanoTrack  # 假设导入路径，具体以仓库结构为准

# 1. 初始化模型
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = NanoTrack(version='v1') # 可选 v1, v2, v3
model.load_state_dict(torch.load('path/to/nanotrack_v1.pth', map_location=device))
model.to(device).eval()

# 2. 初始化跟踪器 (伪代码，具体初始化需传入首帧和 bbox)
cap = cv2.VideoCapture(0) # 或视频路径
ret, frame = cap.read()

# 假设 init_bbox 为 [x, y, w, h]
init_bbox = [100, 100, 50, 50] 
tracker = model.init(frame, init_bbox)

# 3. 开始跟踪循环
while True:
    ret, frame = cap.read()
    if not ret:
        break
    
    # 更新跟踪结果
    bbox = tracker.update(frame)
    
    # 绘制结果
    x, y, w, h = map(int, bbox)
    cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
    cv2.imshow('NanoTrack', frame)
    
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

移动端/边缘端部署

项目官方提供了基于 ncnn 的演示 Demo，适合在 Android 或 macOS 上运行：

• Android Demo: ncnn_android_nanotrack
• MacOS Demo: ncnn_macos_nanotrack

使用前请先将 PyTorch 模型导出为 .onnx 格式，再转换为 ncnn 支持的 .param 和 .bin 格式。

模型性能参考

模型版本	骨干网络	模型大小 (.pth)	参数量	FLOPs	适用场景
NanoTrackV1	MobileNetV3	2.4 MB	287.9K	75.6M	极致速度/低功耗设备
NanoTrackV2	MobileNetV3	2.0 MB	334.1K	84.6M	速度与精度平衡
NanoTrackV3	MobileNetV3	3.4 MB	541.4K	115.6M	高精度需求

提示：NanoTrackV1 仅使用 GOT-10k 数据集训练，在 RTX 3090 上仅需约 2 小时即可完成训练，非常适合快速验证和微调。