deep_sort_pytorch
deep_sort_pytorch 是一个基于 PyTorch 框架实现的多目标跟踪（MOT）开源项目。它巧妙地将 DeepSORT 跟踪算法与 YOLOv3、YOLOv5 及 Mask R-CNN 等先进检测模型相结合，旨在解决视频分析中如何持续、稳定地锁定并识别多个移动目标的难题。无论是拥挤场景中的人流监控，还是复杂背景下的车辆追踪，它都能通过提取外观特征有效应对目标遮挡和短暂消失的情况，确保持续赋予目标唯一的 ID。
该项目特别适合计算机视觉开发者、算法研究人员以及需要快速构建视频分析原型的工程师使用。其核心亮点在于将原本基于 TensorFlow 的特征提取网络成功迁移至 PyTorch 生态，降低了深度学习框架的切换门槛。此外，项目持续迭代，不仅引入了 ResNet 增强特征提取能力，支持多 GPU 并行训练以提升效率，还拓展了实例分割功能，能够同时展示目标的类别、跟踪 ID 及精确掩码。代码结构经过重构与优化，接口对齐良好，用户只需准备相应的预训练权重文件即可快速启动检测与跟踪任务，是学习多目标跟踪算法或进行二次开发的优质参考范本。
使用场景
某智慧园区安防团队正在开发一套实时人流监控系统，需要在复杂摄像头画面中持续追踪每位行人的轨迹并统计区域人数。
没有 deep_sort_pytorch 时
- 身份频繁切换：传统算法仅靠位置预测，当两人擦肩而过或短暂遮挡时，系统会错误地交换他们的 ID，导致轨迹断裂混乱。
- 重复计数严重：由于无法区分同一人的不同出现片段，人员在画面中进出多次会被重复统计，造成客流数据虚高。
- 缺乏外观特征：检测器只输出瞬时边框，无法利用行人衣着等深层视觉特征进行关联，难以应对光照变化或快速移动。
- 功能扩展困难：若需同时展示人员类别、ID 及身体轮廓掩码，需自行整合多个独立模型，开发周期长且推理速度慢。
使用 deep_sort_pytorch 后
- 轨迹稳定连续：结合 YOLOv5/YOLOv3 检测与 Re-ID 深度特征提取，即使发生遮挡或交叉，deep_sort_pytorch 也能牢牢锁定目标 ID，保持轨迹连贯。
- 统计精准可靠：凭借稳定的身份维持能力，系统能准确去重计数，为园区运营提供真实可信的客流热力图数据。
- 多维信息融合：直接调用内置的 Mask RCNN 模块，即可在同一帧画面中同步渲染人员类别、追踪 ID 及实例分割掩码，可视化效果丰富。
- 部署高效灵活：支持 GPU 加速 NMS 及多卡训练，且预置了从 YOLOv3 到 YOLOv5 的多种检测器接口，大幅降低了工程落地门槛。
deep_sort_pytorch 通过将高精度检测与深度外观特征深度融合，彻底解决了动态场景下多目标“跟丢、跟错”的核心难题。
运行环境要求
- Linux
- macOS
- Windows
- 非必需（支持 --cpu 参数），但推荐使用 NVIDIA GPU 以加速检测（支持多卡训练 DistributedDataParallel）
- 具体显存和 CUDA 版本未说明，需匹配 PyTorch >= 1.9 的要求
- 若编译 YOLOv3 的 NMS 模块失败，通常是因为 gcc 版本过低或缺少库文件
未说明
快速开始
使用 PyTorch 的 Deep Sort
更新(1-1-2020)
变更
- 修复了错误
- 重构代码
- 通过在 GPU 上添加 NMS 来加速检测
更新(07-22)
变更
- 修复了错误（感谢 @JieChen91 和 @yingsen1 报告错误）。
- 对每一帧的特征提取使用批处理，从而略微提升了速度。
- 改进了代码。
进一步改进方向
- 在特定数据集上训练检测器，而不是官方数据集。
- 在行人数据集上重新训练 REID 模型以获得更好的性能。
- 将 YOLOv3 检测器替换为更先进的模型。
更新(23-05-2024)
跟踪
在 deep 文件夹中的外观特征提取网络中添加了 ResNet 网络。
修复了 sort 文件夹中
preprocessing.py中的 NMS 错误，以及kalmen_filter.py中的协方差计算错误。
检测
添加了 YOLOv5 检测器，统一了接口，并添加了 YOLOv5 相关的 YAML 配置文件。代码参考了此仓库：YOLOv5-v6.1。
原始 YOLOv5 中的
train.py、val.py和detect.py已被删除。本仓库仅需 yolov5x.pt。
DeepSort
- 添加了跟踪目标类别，可以同时显示类别和跟踪 ID。
更新(28-05-2024)
分割
- 添加了 Mask RCNN 实例分割模型。代码参考了此仓库：mask_rcnn。可视化结果保存在
demo/demo2.gif中。 - 类似于 YOLOv5，
train.py、validation.py和predict.py被删除。本仓库仅需 maskrcnn_resnet50_fpn_coco.pth。
DeepSort
- 添加了跟踪目标掩码，可以同时显示类别、跟踪 ID 和目标掩码。
最新更新(09-06-2024)
特征提取网络
- 使用 PyTorch 中的
nn.parallel.DistributedDataParallel来支持多 GPU 训练。 - 添加了 GETTING_STARTED.md，以便更好地使用
train.py和train_multiGPU.py。
更新了 README.md 中之前更新的内容（#更新(23-05-2024) 和 #更新(28-05-2024)）。
欢迎对本仓库做出任何贡献！
简介
这是一个 MOT 跟踪算法 Deep Sort 的实现。Deep Sort 基本上与 SORT 相同，但增加了一个 CNN 模型来提取由检测器框出的人体部分图像中的特征。这个 CNN 模型实际上是一个 RE-ID 模型，而论文中使用的检测器是 FasterRCNN，原始源代码可以在 这里 找到。 然而，在原始代码中，CNN 模型是用 TensorFlow 实现的，而我对 TensorFlow 并不熟悉。因此，我用 PyTorch 重新实现了 CNN 特征提取模型，并对 CNN 模型做了一些小改动。此外，我还使用 YOLOv3 来生成边界框，而不是 FasterRCNN。
依赖项
- python 3 (python2 不确定)
- numpy
- scipy
- opencv-python
- sklearn
- torch >= 1.9
- torchvision >= 0.13
- pillow
- vizer
- edict
- matplotlib
- pycocotools
- tqdm
快速开始
- 检查所有依赖项是否已安装
pip install -r requirements.txt
对于中国用户，可以指定 PyPI 源以加快安装速度，例如：
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
- 克隆此仓库
git clone git@github.com:ZQPei/deep_sort_pytorch.git
- 下载检测器参数
# 如果您在此仓库中使用 YOLOv3 作为检测器
cd detector/YOLOv3/weight/
wget https://pjreddie.com/media/files/yolov3.weights
wget https://pjreddie.com/media/files/yolov3-tiny.weights
cd ../../../
# 如果您在此仓库中使用 YOLOv5 作为检测器
cd detector/YOLOv5
wget https://github.com/ultralytics/yolov5/releases/download/v6.1/yolov5s.pt
或
wget https://github.com/ultralytics/yolov5/releases/download/v6.1/yolov5m.pt
cd ../../
# 如果您在此仓库中使用 Mask RCNN 作为检测器
cd detector/Mask_RCNN/save_weights
wget https://download.pytorch.org/models/maskrcnn_resnet50_fpn_coco-bf2d0c1e.pth
cd ../../../
- 下载 DeepSort 特征提取网络权重
# 如果您使用论文中的原始模型
cd deep_sort/deep/checkpoint
# 从以下链接下载 ckpt.t7 到该文件夹：
https://drive.google.com/drive/folders/1xhG0kRH1EX5B9_Iz8gQJb7UNnn_riXi6
cd ../../../
# 如果您在此仓库中使用 resnet18
cd deep_sort/deep/checkpoint
wget https://download.pytorch.org/models/resnet18-5c106cde.pth
cd ../../../
- （可选） 如果您在此仓库中使用 YOLOv3 作为检测器，请编译 NMS 模块
cd detector/YOLOv3/nms
sh build.sh
cd ../../..
注意：
如果编译失败，最简单的方法是 升级您的 PyTorch 至 1.1 或更高版本，以及 torchvision 至 0.3 或更高版本，这样就可以避免大多数由于 gcc 版本过低 或 缺少库 导致的编译问题。
- （可选） 准备第三方子模块
该库通过提供 fast-reid 适配器，支持 bagtricks、AGW 等主流 ReID 方法。
要准备我们捆绑的 fast-reid，请按照其 README 中的说明进行安装。
请参阅 configs/fastreid.yaml 以获取使用 fast-reid 的示例。有关可用方法和训练好的模型，请参阅 Model Zoo。
该库通过提供 MMDetection 适配器，支持 Faster R-CNN 和其他主流检测方法。
要准备我们捆绑的 MMDetection，请按照其 README 中的说明进行安装。
请参阅 configs/mmdet.yaml 以获取使用 MMDetection 的示例。有关可用方法和训练好的模型，请参阅 Model Zoo。
运行
git submodule update --init --recursive
- 运行演示
用法：deepsort.py [-h]
[--fastreid]
[--config_fastreid CONFIG_FASTREID]
[--mmdet]
[--config_mmdetection CONFIG_MMDETECTION]
[--config_detection CONFIG_DETECTION]
[--config_deepsort CONFIG_DEEPSORT] [--display]
[--frame_interval FRAME_INTERVAL]
[--display_width DISPLAY_WIDTH]
[--display_height DISPLAY_HEIGHT] [--save_path SAVE_PATH]
[--cpu] [--camera CAM]
VIDEO_PATH
# yolov3 + deepsort
python deepsort.py [VIDEO_PATH] --config_detection ./configs/yolov3.yaml
# yolov3_tiny + deepsort
python deepsort.py [VIDEO_PATH] --config_detection ./configs/yolov3_tiny.yaml
# yolov3 + deepsort 在网络摄像头上
python3 deepsort.py /dev/video0 --camera 0
# yolov3_tiny + deepsort 在网络摄像头上
python3 deepsort.py /dev/video0 --config_detection ./configs/yolov3_tiny.yaml --camera 0
# yolov5s + deepsort
python deepsort.py [VIDEO_PATH] --config_detection ./configs/yolov5s.yaml
# yolov5m + deepsort
python deepsort.py [VIDEO_PATH] --config_detection ./configs/yolov5m.yaml
# mask_rcnn + deepsort
python deepsort.py [VIDEO_PATH] --config_detection ./configs/mask_rcnn.yaml --segment
# fast-reid + deepsort
python deepsort.py [VIDEO_PATH] --fastreid [--config_fastreid ./configs/fastreid.yaml]
# MMDetection + deepsort
python deepsort.py [VIDEO_PATH] --mmdet [--config_mmdetection ./configs/mmdet.yaml]
使用 --display 可以开启每帧图像的显示。
结果将保存到 ./output/results.avi 和 ./output/results.txt。
以上所有文件也可通过百度网盘获取！
链接：百度网盘
提取码：fbuw
训练 RE-ID 模型
请查看 GETTING_STARTED.md，了解如何使用标准基准数据集或自定义数据集开始训练流程。
演示视频和图片
参考文献
常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。