网球追踪 🎾

由 ArtLabs 真心制作

项目目标

• 追踪球的运动轨迹
• 检测球场边界线
• 识别并定位球员

为了追踪球的运动，我们使用了 TrackNet——一个用于高速物体跟踪的深度学习网络。而对于球员检测，则采用了 ResNet50 模型。更多类似项目，请访问 ArtLabs/projects。

示例：使用 示例视频

输入	输出

运行方法

本项目需要兼容的 GPU 来安装 TensorFlow。您可以在本地机器上运行，或者使用 Google Colaboratory，并将运行时类型更改为GPU。

• 输入视频必须是比赛中的连续回合，不应包含任何广告、暂停或观众画面。

1. 克隆本仓库

git clone https://github.com/ArtLabss/tennis-tracking.git

2. 从 这里下载 YOLOv3 权重文件（237 MB），并将其放入您的 Yolov3 文件夹中。
3. 使用 pip 安装所需依赖

pip install -r requirements.txt

4. 在命令行中运行以下命令

python3 predict_video.py --input_video_path=VideoInput/video_input3.mp4 --output_video_path=VideoOutput/video_output.mp4 --minimap=0 --bounce=0

5. 如果您使用 Google Colab，请将所有文件上传至 Google Drive，包括第 2. 步中的 YOLOv3 权重文件。
6. 在与 predict_video.py 同一目录下创建一个 Google Colaboratory 笔记本，将运行时类型设置为 GPU,并连接到 Google Drive

from google.colab import drive
drive.mount('/content/drive')

7. 将工作目录切换到 Colab 笔记本和 predict_video.py 所在的目录。以我的为例，

import os 
os.chdir('drive/MyDrive/Colab Notebooks/tennis-tracking')

8. 由于 Colab 已经预装了大部分依赖，只需安装另外两项：

!pip install filterpy sktime

9. 在笔记本中运行 predict_video.py

 !python3 predict_video.py --input_video_path=VideoInput/video_input3.mp4 --output_video_path=VideoOutput/video_output.mp4 --minimap=0 --bounce=0

编译完成后，如果 --minimap 设置为 0,将在 VideoOutput 文件夹中生成一段新视频；若 --minimap=1,则会生成三段视频：比赛原视频、迷你地图视频以及两者的合成视频。

附注：如果您遇到错误或有任何疑问，欢迎随时打开一个新的问题

更新内容

• 球场边界线检测功能得到改进
• 球员检测精度进一步提升
• 算法现已几乎适用于所有颜色的球场
• 运行速度更快
• 新增动态迷你地图功能，可显示球员和球的位置。启用该功能需使用参数 --minimap

--minimap=0	--minimap=1

为了预测球的弹跳点，我们使用了时间序列机器学习库 sktime。具体来说，基于 TimeSeriesForestClassifier，利用三个变量进行训练：球的 x 和 y 坐标，以及速度 V（计算公式为 V2-V1/t2-t1)。用于训练模型的数据集位于 df.csv

• 通过指定 --bounce=1,可以检测并显示球的弹跳点

该模型对真阴性（非出界）的预测准确率为98%,对真阳性（出界）的预测准确率为83%。

后续改进

• 改进球场线条检测，去除重叠线条
• 当球场颜色与示例视频不一致时，算法无法检测到球员
• 不要检测球童
• 不要勾勒横幅轮廓
• 找到球触碰球场的坐标并显示出来
• 代码优化
• 动态球场迷你地图，显示球员和皮球位置

当前不足

• 算法运行较慢（处理15秒视频（6.1 Mb）需要28分钟16分钟）
  
  • 与其重新生成视频，不如在每一帧处理完成后立即显示，这样会更快
• 算法仅适用于官方比赛视频

参考仓库

• Tennis Tracking @MaximeBataille
• Tennis Project @avivcaspi
• TrackNet

贡献

请通过贡献来帮助我们，查看CONTRIBUTING.md。贡献非常简单！

参考文献

• 黄宇川，《TrackNet：基于深度学习网络的广播视频网球追踪》，硕士论文，指导教师：易次威、黄冠华，国立交通大学，台湾，2018年4月。

• 黄宇川、廖以诺、陈清轩、易次威、彭文志，《TrackNet：一种用于体育应用中高速微小目标追踪的深度学习网络》，发表于IEEE内容感知视频分析国际研讨会（CAVA 2019），该会议与第16届IEEE高级视频与基于信号的监控技术国际会议（AVSS 2019）联合举办，2019年9月18日至21日，台北，台湾。

• 约瑟夫·雷德蒙、阿里·法尔哈迪，《YOLOv3：一项渐进式改进》，华盛顿大学，https://arxiv.org/pdf/1804.02767.pdf

Tennis Tracking 快速上手指南

Tennis Tracking 是一个基于深度学习的开源工具，旨在自动分析网球比赛视频。它能够追踪高速运动的网球、检测球场界线以及识别球员位置。

环境准备

本项目依赖 GPU 环境以运行 TensorFlow 和深度学习模型。

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• 硬件要求：兼容 CUDA 的 NVIDIA GPU（显存建议 4GB 以上）
  • 注：若无本地 GPU，可使用 Google Colaboratory 并切换 Runtime Type 为 GPU。
• 软件依赖：
  • Python 3.x
  • Git
  • pip

安装步骤

1. 克隆项目

首先将代码仓库克隆到本地：

git clone https://github.com/ArtLabss/tennis-tracking.git
cd tennis-tracking

2. 下载预训练权重

下载 YOLOv3 权重文件（约 237 MB），并将其放入项目的 Yolov3 文件夹中。

• 下载地址：yolov3.weights
• 操作：将下载的文件移动至 tennis-tracking/Yolov3/ 目录下。

国内加速提示：如果上述链接下载缓慢，可尝试使用国内镜像站或代理下载该文件。

3. 安装依赖库

使用 pip 安装项目所需的 Python 包：

pip install -r requirements.txt

优化建议：国内用户建议使用清华源或阿里源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

确保输入视频为纯粹的比赛回合（Rallies），不包含广告、休息间隙或观众画面，以获得最佳检测效果。

运行预测

在项目根目录下执行以下命令处理视频：

python3 predict_video.py --input_video_path=VideoInput/video_input3.mp4 --output_video_path=VideoOutput/video_output.mp4 --minimap=0 --bounce=0

参数说明：

• --input_video_path: 输入视频路径（请替换为你自己的视频文件）。
• --output_video_path: 输出视频保存路径。
• --minimap:
  • 0: 仅生成比赛视频。
  • 1: 生成比赛视频、动态小地图（Mini-Map）以及合成视频。
• --bounce:
  • 0: 不检测落点。
  • 1: 检测并标记网球落地点（基于 sktime 时间序列分类）。

输出结果： 处理完成后，生成的视频将保存在 VideoOutput 文件夹中。

---

注意：由于涉及复杂的深度学习推理，处理速度可能较慢（例如处理 15 秒视频可能需要数分钟），请耐心等待进程完成。