TFFRCNN

这是一个基于 TensorFlow 的 Faster R-CNN 实验性实现（TFFRCNN），主要参考了 smallcorgi 和 rbgirshick 的工作。我重新组织了 lib 目录下的代码库，使每个 Python 模块相互独立，便于理解和修改。

有关 R-CNN 的详细信息，请参阅 Shaoqing Ren、Kaiming He、Ross Girshick 和 Jian Sun 发表的论文《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》（http://arxiv.org/pdf/1506.01497v3.pdf）。

新特性

• 支持 ResNet 网络
• 支持 KITTI 目标检测数据集
• Position Sensitive ROI Pooling（psroi_pooling），尚未测试
• 困难样本挖掘
• 数据增强
• PVANet
• TensorFlow 1.0
• R-FCN
• 多层架构（HyperNet）
• 更多技巧...

致谢：

1. py-faster-rcnn

2. Faster-RCNN_TF

3. ROI pooling

软件要求

1. TensorFlow 的依赖项（详见：TensorFlow）

2. 您可能尚未安装的 Python 包：cython、python-opencv、easydict（建议安装 Anaconda）

硬件要求

1. 使用 VGG16 训练端到端版本的 Faster R-CNN 时，3GB 显存即可（使用 CUDNN）。

安装（适用于演示）

1. 克隆 Faster R-CNN 仓库：

   git clone https://github.com/CharlesShang/TFFRCNN.git
   

2. 构建 Cython 模块：

   cd TFFRCNN/lib
   make # 编译 cython 和 roi_pooling_op，您可能需要根据您的平台修改 make.sh
   

演示

在成功完成 基本安装 后，您就可以运行演示了。

运行演示：

cd $TFFRCNN
python ./faster_rcnn/demo.py --model model_path

该演示使用在 PASCAL VOC 2007 数据集上训练的 VGG16 网络进行目标检测。

下载列表

1. 在 ImageNet 上预训练的 VGG16

2. VGG16 - TFFRCNN（VOC07 上 mAP 为 0.689）

3. VGG16 - TFFRCNN（VOC07 上 mAP 为 0.748）

4. 在 ImageNet 上预训练的 ResNet50

5. ResNet50 - TFFRCNN（VOC07 上 mAP 为 0.712）

6. 在 ImageNet 上预训练并从 caffemodel 转换而来的 PVANet

在 PASCAL VOC 2007 上训练

1. 下载训练、验证、测试数据及 VOCdevkit：

   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar
   

2. 将所有 tar 文件解压到名为 VOCdevkit 的目录中：

   tar xvf VOCtrainval_06-Nov-2007.tar
   tar xvf VOCtest_06-Nov-2007.tar
   tar xvf VOCdevkit_08-Jun-2007.tar
   

3. 目录结构应如下所示：

   $VOCdevkit/                           # 开发工具包
   $VOCdevkit/VOCcode/                   # VOC 工具代码
   $VOCdevkit/VOC2007                    # 图像集、标注等
   # ... 还有其他几个目录 ...
   

4. 为 PASCAL VOC 数据集创建符号链接：

   cd $TFFRCNN/data
   ln -s $VOCdevkit VOCdevkit2007
   

5. 下载预训练模型 VGG16，并将其放置在路径 ./data/pretrain_model/VGG_imagenet.npy 中。

6. 运行训练脚本：

   cd $TFFRCNN
   python ./faster_rcnn/train_net.py --gpu 0 --weights ./data/pretrain_model/VGG_imagenet.npy --imdb voc_2007_trainval --iters 70000 --cfg ./experiments/cfgs/faster_rcnn_end2end.yml --network VGGnet_train --set EXP_DIR exp_dir
   

7. 运行性能分析：

   cd $TFFRCNN
   # 安装可视化工具
   sudo apt-get install graphviz  
   ./experiments/profiling/run_profiling.sh 
   # 生成图像 ./experiments/profiling/profile.png
   

在 KITTI 目标检测数据集上训练

1. 下载 KITTI 目标检测数据集：

   http://www.cvlibs.net/datasets/kitti/eval_object.php
   

2. 将所有 tar 文件解压到 ./TFFRCNN/data/ 目录中，目录结构如下：

   KITTI
       |-- training
               |-- image_2
                   |-- [000000-007480].png
               |-- label_2
                   |-- [000000-007480].txt
       |-- testing
               |-- image_2
                   |-- [000000-007517].png
               |-- label_2
                   |-- [000000-007517].txt
   

3. 将 KITTI 转换为 PASCAL VOC 格式：

   cd $TFFRCNN
   ./experiments/scripts/kitti2pascalvoc.py \
   --kitti $TFFRCNN/data/KITTI --out $TFFRCNN/data/KITTIVOC
   

4. 输出目录结构如下：

   KITTIVOC
       |-- Annotations
               |-- [000000-007480].xml
       |-- ImageSets
               |-- Main
                   |-- [train|val|trainval].txt
       |-- JPEGImages
               |-- [000000-007480].jpg
   

5. 在 KITTIVOC 上的训练方式与在 PASCAL VOC 2007 上的训练相同：

   python ./faster_rcnn/train_net.py \
   --gpu 0 \
   --weights ./data/pretrain_model/VGG_imagenet.npy \
   --imdb kittivoc_train \
   --iters 160000 \
   --cfg ./experiments/cfgs/faster_rcnn_kitti.yml \
   --network VGGnet_train
   

TFFRCNN 快速上手指南

TFFRCNN 是一个基于 TensorFlow 的 Faster R-CNN 实验性实现。该项目重构了代码库，使各 Python 模块相互独立，便于理解、修改和二次开发。支持 VGG16、ResNet、PVANet 等骨干网络，并兼容 PASCAL VOC 和 KITTI 数据集。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu)
• GPU: 训练 VGG16 端到端版本至少需要 3GB 显存（需安装 CUDA 和 cuDNN）
• Python: 建议通过 Anaconda 管理环境

前置依赖

确保已安装以下软件包：

• TensorFlow: 参考 官方文档 安装（本项目基于 TF 1.0+）
• Python 库:

  pip install cython python-opencv easydict
  

  注：国内用户可使用清华源加速安装：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

1. 克隆仓库

   git clone https://github.com/CharlesShang/TFFRCNN.git
   cd TFFRCNN
   

2. 编译 Cython 模块 进入 lib 目录并执行编译（可能需要根据平台修改 make.sh）：

   cd lib
   make
   

   此步骤将编译 cython 模块和 roi_pooling_op。

基本使用

运行演示 (Demo)

在完成上述安装后，即可运行预训练模型进行目标检测演示。

1. 下载预训练模型 下载在 PASCAL VOC 2007 上训练的 VGG16 模型：

   • VGG16 - TFFRCNN (0.748 mAP)

   将下载的文件放置于项目目录中，记下路径（例如 model_path）。

2. 执行检测脚本

   cd $TFFRCNN
   python ./faster_rcnn/demo.py --model model_path
   

   该命令将加载 VGG16 网络并对默认图片进行检测。

快速开始训练 (PASCAL VOC 2007)

若需从头训练，请按以下步骤操作：

1. 准备数据集

   # 下载数据
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
   wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCdevkit_08-Jun-2007.tar
   
   # 解压到同一目录 VOCdevkit
   tar xvf VOCtrainval_06-Nov-2007.tar
   tar xvf VOCtest_06-Nov-2007.tar
   tar xvf VOCdevkit_08-Jun-2007.tar
   

2. 创建软链接

   cd $TFFRCNN/data
   ln -s $VOCdevkit VOCdevkit2007
   

3. 准备预训练权重 下载 ImageNet 预训练的 VGG16，并重命名为 VGG_imagenet.npy 放入 ./data/pretrain_model/ 目录。

4. 启动训练

   cd $TFFRCNN
   python ./faster_rcnn/train_net.py --gpu 0 --weights ./data/pretrain_model/VGG_imagenet.npy --imdb voc_2007_trainval --iters 70000 --cfg ./experiments/cfgs/faster_rcnn_end2end.yml --network VGGnet_train --set EXP_DIR exp_dir