pytracking
pytracking 是一个基于 PyTorch 的开源视觉跟踪框架，专注于目标跟踪与视频对象分割任务。它为开发者和研究人员提供了从算法实现到模型训练的完整工具链，支持单目标/多目标跟踪、高精度分割以及复杂场景下的鲁棒跟踪需求。
该工具解决了传统跟踪算法在多目标协同跟踪效率低、复杂背景干扰下稳定性不足的问题。通过引入 Transformer 架构实现多目标共享预测模型（如 TaMOs），在 LaGOT 等大规模数据集上验证了其亚线性计算效率优势；RTS 模型则创新性地采用分割掩码替代传统边界框，结合实例定位组件显著提升了遮挡场景的跟踪鲁棒性。
主要面向计算机视觉领域的研究人员和算法工程师，适合需要快速复现论文模型（如 DiMP、ATOM 等经典算法）、开发新型跟踪架构或进行视频分析应用的用户。框架内置 LTR 训练系统，包含常用数据集接口、特征提取模块和相关滤波器工具，并提供超过 10 种 SOTA 模型的预训练权重与性能评估报告。
技术亮点包括：多目标跟踪的 Transformer 共享预测架构、端到端可训练的分割掩码跟踪范式、高效的相关滤波与深度网络结合方案。配套的 Model Zoo 涵盖 CVPR/ECCV 等顶会模型，支持直接调用和性能对比，极大降低了算法验证门槛。
使用场景
某智能零售商店开发团队需要实现顾客购物行为分析系统，需对店内多个顾客进行实时跟踪与轨迹分析。
没有 pytracking 时
- 需要从零开发多目标跟踪模块，自行处理目标遮挡、ID切换等复杂场景
- 使用传统算法导致购物高峰时段跟踪精度骤降，顾客轨迹断裂率达35%
- 多人跟踪时计算资源消耗过大，单台服务器仅能支持4路摄像头实时处理
- 遇到特殊体型顾客（如穿宽松衣物）时，bounding box经常漂移出人体区域
- 自研系统缺乏标准化评估模块，无法量化跟踪效果改进
使用 pytracking 后
- 直接部署TaMOs预训练模型，开箱即用支持最多10个目标并行跟踪
- 采用Transformer架构的共享预测器，购物高峰时段轨迹断裂率降至8%以下
- 子线性运行时复杂度使服务器资源利用率降低40%，单机支持6路摄像头
- RTS分割模型精准捕捉人体轮廓，衣物变化导致的跟踪偏移减少72%
- 内置EAO评估工具快速定位跟踪缺陷，迭代周期从2周缩短至3天
通过集成pytracking的多目标跟踪与分割能力，该团队在3周内完成系统部署，顾客轨迹完整度提升4倍，单店年运营成本降低$12,000。
运行环境要求
- Linux
- macOS
需要 NVIDIA GPU，显存 8GB+，CUDA 版本需与 PyTorch 兼容（未明确具体版本）
未说明
快速开始
PyTracking（基于PyTorch的视觉目标跟踪与视频目标分割通用框架）
:fire: 一篇跟踪论文被WACV 2024接收！👇
:fire: 一篇跟踪论文被WACV 2023接收！👇
:fire: 一篇跟踪论文被ECCV 2022接收！👇
主要特性
TaMOs、RTS、ToMP、KeepTrack、LWL、KYS、PrDiMP、DiMP和ATOM追踪器
包含TaMOs（WACV 2024）、RTS（ECCV 2022）、ToMP（CVPR 2022）、KeepTrack（ICCV 2021）、LWL（ECCV 2020）、KYS（ECCV 2020）、PrDiMP（CVPR 2020）、DiMP（ICCV 2019）和ATOM（CVPR 2019）追踪器的官方实现，包含完整的训练代码和预训练模型。
跟踪库
实现和评估视觉追踪器的库，包含：
- 所有常见的目标跟踪和视频目标分割数据集
- 用于分析追踪器性能并获取标准性能指标的脚本
- 通用构建模块，包含深度网络、优化、特征提取和相关滤波跟踪工具
训练框架: LTR
LTR（Learning Tracking Representations）是训练视觉跟踪网络的通用框架，包含：
- 所有常见的视觉目标跟踪和分割训练数据集
- 数据采样、处理等功能
- 视觉跟踪网络模块
- 更多功能...
模型库
通过PyTracking训练的追踪模型及其在标准跟踪基准上的结果详见模型库
追踪器列表
工具包包含以下追踪器的实现：
TaMOs (WACV 2024)
[论文] [原始结果] [模型] [训练代码] [追踪器代码]
TaMOs的官方实现。TaMOs是首个可同时跟踪多个通用目标的追踪器。该方法使用基于Transformer的共享模型预测器生成多个目标模型（每个指定目标对应一个模型）。在多目标跟踪时实现亚线性运行时复杂度，且相比为每个目标单独运行单目标追踪器的方法表现更优。TaMOs作为新大规模通用目标跟踪基准LaGOT的基线追踪器（详见此处），该基准每个序列包含多个标注目标。
RTS (ECCV 2022)
[论文] [原始结果] [模型] [训练代码] [追踪器代码]
RTS的官方实现。RTS是一种鲁棒的端到端可训练分割中心化框架，其内部使用分割掩码而非边界框进行运算。该方法可学习更优的目标表征，实现目标与背景的清晰区分。为在复杂跟踪场景中获得必要鲁棒性，框架使用独立实例定位组件在生成输出掩码时对分割解码器进行条件约束。
ToMP (CVPR 2022)
[论文] [原始结果] [模型] [训练代码] [追踪器代码]
ToMP的官方实现。ToMP采用基于Transformer的模型预测模块进行目标定位。模型预测器进一步扩展为可估计第二组权重，用于精确边界框回归。最终的ToMP追踪器通过训练和测试帧信息进行所有权重的传导预测。
KeepTrack (ICCV 2021)
[论文] [原始结果] [模型] [训练代码] [追踪器代码]
KeepTrack的官方实现。KeepTrack通过主动处理干扰物实现目标持续跟踪。该方法采用学习的目标候选关联网络，实现所有目标候选身份的帧间传播。为解决视觉跟踪中干扰物间缺乏真实对应关系的问题，采用结合部分标注和自监督的训练策略。
LWL (ECCV 2020)
[论文] [原始结果] [模型] [训练代码] [追踪器代码]
LWL追踪器的官方实现。LWL是端到端可训练的视频目标分割架构，通过紧凑参数化模型捕获当前目标信息。该架构集成可微分少样本学习模块，使用首帧标注预测目标模型参数。学习器设计为显式优化目标模型预测与真实标签间的误差。LWL进一步学习用于少样本学习器的真实标签以训练目标模型。所有模块通过最大化标注VOS视频的分割精度进行端到端训练。
KYS (ECCV 2020)
[论文] [原始结果] [模型] [训练代码] [跟踪器代码]
KYS跟踪器的官方实现。与传统的逐帧检测跟踪方法不同，KYS通过视频序列传播有价值的场景信息（scene information）。这些信息被用于在每帧中实现改进的场景感知目标预测（scene-aware target prediction）。场景信息通过一组密集的局部状态向量表示，这些状态向量在整个序列中传播，并与外观模型输出结合以定位目标。网络通过直接最大化视频片段上的跟踪性能来有效利用场景信息
PrDiMP (CVPR 2020)
[论文] [原始结果] [模型] [训练代码] [跟踪器代码]
PrDiMP跟踪器的官方实现。该工作提出了一种概率回归（probabilistic regression）的通用公式，并将其应用于DiMP框架中的视觉跟踪。网络预测给定输入图像下目标状态的条件概率密度（conditional probability density）。该概率密度由神经网络本身灵活参数化，并通过直接最小化Kullback-Leibler散度进行训练。
DiMP (ICCV 2019)
[论文] [原始结果] [模型] [训练代码] [跟踪器代码]
DiMP跟踪器的官方实现。DiMP是一种端到端跟踪架构，能够完全利用目标和背景的外观信息进行目标模型预测。它基于目标模型预测网络，该网络通过应用迭代优化过程从判别学习损失（discriminative learning loss）推导而来。模型预测网络采用基于最速下降法的方法，在每次迭代中计算最优步长以实现快速收敛。模型预测器还包含一个初始化网络，可高效提供模型权重的初始估计。
ATOM (CVPR 2019)
[论文] [原始结果] [模型] [训练代码] [跟踪器代码]
ATOM跟踪器的官方实现。ATOM基于： (i) 离线训练的目标估计（target estimation）模块，以及 (ii) 在线训练的目标分类（target classification）模块。 目标估计模块训练以预测目标与边界框估计之间的交并比（IoU overlap）。目标分类模块使用专用优化技术在线学习，以区分目标物体与背景。
ECO/UPDT (CVPR 2017/ECCV 2018)
ECO跟踪器的非官方实现。该实现基于复数运算库和傅里叶工具库构建。与原论文版本相比存在以下重要差异：
- 本实现使用vgg-m第1层和resnet18第3个残差块的特征
- 如我们在后续UPDT跟踪器中所述，对浅层和深层特征分别训练滤波器，并在首帧应用大量数据增强
- 未实现GMM内存模块，而是直接存储原始投影样本
如需复现ECO论文结果，请参考ECO官方实现
相关跟踪器
我们列出可在外部仓库找到的相关跟踪器
E.T.Track (WACV 2023)
E.T.Track的官方实现。E.T.Track利用我们提出的Exemplar Transformer，这是一种使用单实例级注意力层的Transformer模块，用于实时视觉目标跟踪。E.T.Track速度比其他基于Transformer的模型快达8倍，且在标准CPU上运行时，持续优于其他可实时运行的轻量级跟踪器
安装
克隆GIT仓库
git clone https://github.com/visionml/pytracking.git
克隆子模块
在仓库目录运行：
git submodule update --init
安装依赖
运行安装脚本安装所有依赖。需提供conda安装路径（如~/anaconda3）和创建的conda环境名（此处为pytracking）
bash install.sh conda_install_path pytracking
该脚本将自动下载默认网络模型并配置环境
注意：安装脚本在Ubuntu 18.04系统测试通过。如遇问题，请查看详细安装指南
Windows：（不推荐！）查看Windows安装指南
测试运行
激活conda环境并运行摄像头测试脚本：
conda activate pytracking
cd pytracking
python run_webcam.py dimp dimp50
下一步？
pytracking - 跟踪器实现目录
ltr - 跟踪器训练目录
贡献者
主要贡献者
客座贡献者
- Felix Järemo-Lawin [LWL]
致谢
版本历史
v1.22020/01/16v1.12019/09/01v1.02019/05/05常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。