Crowd Counting Code Framework (C^3-Framework)

Python 3 开发版！

一个开源的基于 PyTorch 的人群计数代码库

---

注：由于个人原因，该代码将不再继续维护。建议您使用 NWPU-Crowd-Sample-Code 或者参考 Awesome-Crowd-Counting 中的其他优秀代码。

技术博客

• [2019.05] [中文博客] C^3 Framework系列之一：一个基于PyTorch的开源人群计数框架 [链接]

目标

本代码旨在提供一个高效、灵活的监督式人群计数框架。同时，我们还提供了若干基础网络及经典算法在主流数据集上的性能表现。

特性

• 便捷的开发工具包。它支持六个主流数据集，是一个非常方便的开发工具包。
• 坚实的基线模型。提供了包括 AlexNet、VGG、ResNet 等在内的经典预训练模型作为基准。基于这些基准，您可以轻松地将自己的模型效果与其进行对比。
• 强大的日志记录功能。不仅会记录损失值和 TensorBoard 可视化结果，还会保存当前的代码包（包括参数设置）。保存下来的代码包可以随时直接运行以复现实验，无需担心忘记复杂的参数配置。

性能表现

由于时间和 GPU 资源有限，部分实验暂未完成（标记为“TBD”）。如果您对该项目感兴趣，欢迎提交您自己的实验参数和结果。GCC(rd,cc,cl) 分别代表 GCC 数据集采用 random/cross-camera/cross-location 划分方式。

方法	GCC(rd,cc,cl)	UCF-QNRF	SHT A	SHT B
MCNN (RGB 图像)	102.2/238.3, 140.3/285.7, 176.1/373.9	243.5/364.7	110.6/171.1	21.5/38.1
AlexNet (conv5)	46.3/110.9, 83.7/180.3, 101.2/233.6	TBD	TBD	13.6/21.7
VGG-16 (conv4_3)	36.6/88.9, 57.6/133.9, 91.4/222.0	119.3/207.7	71.4/115.7	10.3/16.5
VGG-16 (conv4_3)+decoder	37.2/91.2, 56.9/138.3, 88.9/220.9	115.2/189.6	71.5/117.6	10.5/17.4
ResNet-50 (layer3)	32.4/76.1, 54.5/129.7,78.3/201.6	114.7/205.7	TBD	7.7/12.6
ResNet-101 (layer3)	31.9/81.4, 56.8/139.5, 86.9/214.2	TBD	TBD	7.6/12.2
CSRNet	32.6/74.3, 54.6/135.2, 87.3/217.2	TBD	69.3/111.9	10.6/16.6
SANet	42.4/85.4, 79.3/179.9, 110.0/246.0	TBD	TBD	12.1/19.2
CMTL	-	TBD	TBD	14.0/22.3
ResSFCN-101 (SFCN+)	26.8/66.1, 56.5/139.0, 83.5/211.5	112.67/198.27	TBD	7.8/12.6

方法	WE	UCF50
MCNN (RGB Image)	TBD	TBD
AlexNet (conv5)	TBD	TBD
VGG-16 (conv4_3)	TBD	TBD
VGG-16 (conv4_3)+decoder	TBD	TBD
ResNet-50 (layer3)	TBD	TBD
ResNet-101 (layer3)	TBD	TBD
CSRNet	TBD	TBD
SANet	TBD	TBD
CMTL	TBD	TBD
ResSFCN-101 (SFCN+)	TBD	TBD

数据处理代码

• GCC
• UCF-QNRF
• ShanghaiTech Part_A
• ShanghaiTech Part_B
• WorldExpo'10
• UCF_CC_50
• UCSD
• Mall

快速入门

准备工作

• 前置条件

  • Python 3.x
  • Pytorch 1.0（部分网络仅支持 0.4）：http://pytorch.org 。
  • requirements.txt 中列出的其他依赖库，请运行 pip install -r requirements.txt 安装。

• 安装

  • 克隆本仓库：

    git clone https://github.com/gjy3035/C-3-Framework.git
    

• 数据准备

  • 在 ./datasets/XXX/readme.md 中下载我们处理好的数据集，或者运行 prepare_XXX.m/.py 生成密度图。如果您想直接下载所有已处理的数据（包括 Shanghai Tech、UCF-QNRF、UCF_CC_50 和 WorldExpo'10），请访问 链接。
  • 将处理好的数据放入 ../ProcessedData 目录中。

• 预训练模型

  • 一些计数网络（如 VGG、CSRNet 等）采用了 ImageNet 上的预训练模型。您可以从 TorchVision 下载这些模型。
  • 将下载的模型放置于 ~/.cache/torch/checkpoints/ 目录下（仅适用于 Linux 系统）。

• 文件夹结构

  +-- C-3-Framework
  |   +-- datasets
  |   +-- misc
  |   +-- ......
  +-- ProcessedData
  |   +-- shanghaitech_part_A
  |   +-- ......
  

训练

• 在 config.py 和 ./datasets/XXX/setting.py 中设置参数（若想复现我们的结果，建议使用 ./results_reports 中的参数）。
• 运行 python train.py。
• 启动 TensorBoard：tensorboard --logdir=exp --port=6006。

测试

我们仅提供了一个在测试集上测试模型的示例。您可能需要根据自己的模型对其进行修改。

GCC 数据集上的预训练模型

考虑到 GCC 数据集规模庞大，我们提供了采用随机划分方式的 GCC 预训练模型，以节省研究人员的训练时间。您可以从这个 链接 下载。遗憾的是，我们在 GCC 上训练的 MCNN 模型已经丢失，我们将尽快重新训练并发布。

小贴士

在本代码中，验证集直接使用了测试集。严格来说，应该在验证集上进行评估（即从训练集中随机选取的部分，这也是论文中采用的方式）。然而，为了便于复现结果（即固定划分的训练集和测试集），本代码直接使用测试集作为验证集，这导致代码中的结果略优于论文中的结果。如果您将此仓库用于学术研究，请务必从训练集中抽取 10% 的数据作为验证集。

引用

如果您认为本项目对您的研究有帮助，请引用以下文献：

@inproceedings{wang2019learning,
  title={从合成数据中学习以实现野外人群计数},
  author={Wang, Qi 和 Gao, Junyu 和 Lin, Wei 和 Yuan, Yuan},
  booktitle={IEEE 计算机视觉与模式识别会议（CVPR）论文集},
  pages={8198--8207},
  year={2019}
}

@article{gao2019c,
  title={C$^3$ 框架：用于人群计数的开源 PyTorch 代码},
  author={Gao, Junyu 和 Lin, Wei 和 Zhao, Bin 和 Wang, Dong 和 Gao, Chenyu 和 Wen, Jun},
  journal={arXiv 预印本 arXiv:1907.02724},
  year={2019}
}

C-3-Framework 快速上手指南

C-3-Framework 是一个基于 PyTorch 的开源人群计数代码框架，旨在提供高效、灵活的开发环境，并包含多个经典算法在主流数据集上的基准性能。

注意：原作者因个人原因已停止维护该项目。建议开发者参考 NWPU-Crowd-Sample-Code 或 Awesome-Crowd-Counting 中的其他优秀代码。本指南仅基于现有代码整理。

1. 环境准备

系统要求

• 操作系统：Linux (推荐) 或其他支持 PyTorch 的系统
• Python 版本：Python 3.x
• PyTorch 版本：PyTorch 1.0 (部分网络仅支持 0.4 版本)

前置依赖

安装项目所需的 Python 库：

pip install -r requirements.txt

注：国内用户可使用清华源加速安装：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

预训练模型

部分计数网络（如 VGG, CSRNet 等）需要使用 ImageNet 预训练模型。

• 下载地址：TorchVision Models
• 存放路径（Linux）：~/.cache/torch/checkpoints/

2. 安装步骤

克隆仓库

git clone https://github.com/gjy3035/C-3-Framework.git
cd C-3-Framework

数据准备

框架支持 GCC, UCF-QNRF, ShanghaiTech (Part_A/B), WorldExpo'10 等多个数据集。

1. 下载处理后的数据： 你可以直接下载作者处理好的数据集（包含密度图），或者运行 prepare_XXX.m/.py 自行生成。

   • 下载链接：Processed Data Link

2. 放置数据： 将下载并解压后的数据文件夹移动到项目根目录下的 ../ProcessedData 目录中。

   目录结构示例：

   +-- C-3-Framework
   |   +-- datasets
   |   +-- misc
   |   +-- ......
   +-- ProcessedData
   |   +-- shanghaitech_part_A
   |   +-- ......
   

3. 基本使用

训练模型 (Training)

1. 配置参数： 修改 config.py 以及对应数据集目录下的 ./datasets/XXX/setting.py。 提示：若要复现论文结果，建议直接使用 ./results_reports 文件夹中提供的参数配置。

2. 开始训练：

   python train.py
   

3. 查看日志： 使用 TensorBoard 可视化训练过程中的 Loss 和结果：

   tensorboard --logdir=exp --port=6006
   

   然后在浏览器访问 http://localhost:6006。

测试模型 (Testing)

项目提供了在测试集上评估模型的示例脚本。由于不同模型结构可能存在差异，你可能需要根据实际情况修改测试代码以适配你自己的模型。

使用 GCC 预训练模型

为了节省大规模 GCC 数据集的训练时间，作者提供了基于随机划分的预训练模型。

• 下载链接：GCC Pretrained Models
• 注意：MCNN 模型的预训练权重暂时丢失，作者计划重新训练后发布。

---

学术引用 如果在研究中使用了本项目，请引用以下论文：

@inproceedings{wang2019learning,
  title={Learning from Synthetic Data for Crowd Counting in the Wild},
  author={Wang, Qi and Gao, Junyu and Lin, Wei and Yuan, Yuan},
  booktitle={Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  pages={8198--8207},
  year={2019}
}
@article{gao2019c,
  title={C$^3$ Framework: An Open-source PyTorch Code for Crowd Counting},
  author={Gao, Junyu and Lin, Wei and Zhao, Bin and Wang, Dong and Gao, Chenyu and Wen, Jun},
  journal={arXiv preprint arXiv:1907.02724},
  year={2019}
}