[更新]

基于DETR的DeepLogo2现已发布

DeepLogo

一个使用TensorFlow目标检测API的品牌logo检测系统。

描述

TensorFlow目标检测API是一个易于使用的框架，用于构建解决目标检测问题的自定义深度学习模型。如果您已经拥有自己的数据集，只需利用在COCO、KITTI和OpenImages数据集上预训练的一系列检测模型，即可轻松创建出具有足够精度的自定义模型。

DeepLogo提供了TensorFlow目标检测API的训练与评估环境，以帮助用户构建品牌logo检测模型。

检测结果

以下是DeepLogo的一些检测结果。

训练DeepLogo

DeepLogo以SSD作为骨干网络，并对tensorflow/models仓库中发布的预训练SSD模型进行微调。为了使用该预训练模型，首先需要设置tensorflow/models仓库。

1. 克隆tensorflow/models仓库并从模型库下载预训练模型。

   $ git clone https://github.com/tensorflow/models.git
   $ cd models/research/object_detection
   $ wget http://download.tensorflow.org/models/object_detection/ssd_inception_v2_coco_2018_01_28.tar.gz
   $ tar zxvf ssd_inception_v2_coco_2018_01_28.tar.gz
   

   TensorFlow目标检测API依赖于许多其他库。有关详细的安装步骤，请参阅官方安装说明。

2. 克隆DeepLogo仓库。

   $ git clone https://github.com/satojkovic/DeepLogo.git
   

3. 从这里下载Flickr Logos 27数据集。

   Flickr Logos 27数据集包含从Flickr下载的27类品牌logo图像。数据集中包含的品牌有：Adidas、Apple、BMW、Citroen、Coca Cola、DHL、Fedex、Ferrari、Ford、Google、Heineken、HP、McDonalds、Mini、Nbc、Nike、Pepsi、Porsche、Puma、Red Bull、Sprite、Starbucks、Intel、Texaco、Unisef、Vodafone和Yahoo。

   $ cd DeepLogo
   $ wget http://image.ntua.gr/iva/datasets/flickr_logos/flickr_logos_27_dataset.tar.gz
   $ tar zxvf flickr_logos_27_dataset.tar.gz
   $ cd flickr_logos_27_dataset
   $ tar zxvf flickr_logos_27_dataset_images.tar.gz
   $ cd ../
   

4. 预处理

   Flickr Logos 27数据集包含一份用于训练的标注文件。该文件中存在无效的标注，例如空尺寸的边界框。因此，在此预处理步骤中会移除这些无效标注，并将类别名称转换为类别编号，生成两个预处理后的文件。这两个文件将用于生成TFRecord文件。

   $ cd DeepLogo
   $ python preproc_annot.py
   

5. 生成TFRecord文件。

   TensorFlow目标检测API期望数据以TFRecord格式提供。运行以下命令，将预处理后的文件转换为TFRecords。

   $ python gen_tfrecord.py --train_or_test train --csv_input flickr_logos_27_dataset/flickr_logos_27_dataset_training_set_annotation_cropped.txt --img_dir flickr_logos_27_dataset/flickr_logos_27_dataset_images --output_path train.tfrecord
   $ python gen_tfrecord.py --train_or_test test --csv_input flickr_logos_27_dataset/flickr_logos_27_dataset_test_set_annotation_cropped.txt --img_dir flickr_logos_27_dataset/flickr_logos_27_dataset_images --output_path test.tfrecord
   

6. 训练

   TensorFlow目标检测API提供了一个名为train.py的Python脚本用于训练。该脚本需要两个参数--pipeline_config_path和--train_dir。（见下文）

   DeepLogo假设当前目录位于DeepLogo目录下，并且预训练SSD和TFRecord文件的路径是相对于DeepLogo的相对路径（这些路径已在ssd_inception_v2.config中写明）。因此，首先创建指向tensorflow/models/research/object_detection/ssd_inception_v2_coco_2018_01_28目录的符号链接，然后运行训练脚本。

   $ OBJECT_DETECTION_API_DIR={tensorflow/models/research/object_detection的路径}
   $ ln -s ${OBJECT_DETECTION_API_DIR}/ssd_inception_v2_coco_2018_01_28 ssd_inception_v2_coco_2018_01_28
   $ python ${OBJECT_DETECTION_API_DIR}/legacy/train.py --logtostderr --pipeline_config_path=ssd_inception_v2_coco.config --train_dir=training
   

   注意：DeepLogo无法在TensorFlow 2.0中运行。尝试训练DeepLogo时，请切换到tensorflow/models的5ba3c3f5版本。

测试

1. 导出已训练模型用于推理

   要测试模型，首先需要将其导出为TensorFlow图协议缓冲区。

   $ STEPS={保存模型时的步数}
   $ python ${OBJECT_DETECTION_API_DIR}/export_inference_graph.py --input_type=image_tensor --pipeline_config_path=ssd_inception_v2_coco.config --trained_checkpoint_prefix=model.ckpt-${STEPS} --output_directory=logos_inference_graph
   

   或者，您也可以从GoogleDrive下载已训练好的模型！

2. 推理

   运行以下命令。logo检测的结果将保存在--output_dir中。

   $ python logo_detection.py --model_name logos_inference_graph/ --label_map flickr_logos_27_label_map.pbtxt --test_annot_text flickr_logos_27_dataset/flickr_logos_27_dataset_test_set_annotation_cropped.txt --test_image_dir flickr_logos_27_dataset/flickr_logos_27_dataset_images --output_dir detect_results
   

评估

在评估保存在训练目录中的已训练模型之前，请编辑 training/pipeline.config 文件中的 num_examples 字段。

num_examples 字段表示测试图像的数量，其值应等于 flickr_logos_27_dataset_test_set_annotation_cropped.txt 文件中的行数。

$ wc -l flickr_logos_27_dataset/flickr_logos_27_dataset_test_set_annotation_cropped.txt
     438 flickr_logos_27_dataset/flickr_logos_27_dataset_test_set_annotation_cropped.txt

eval_config: {
  num_examples: 438
  # 注意：以下行将评估过程限制为10次。 
  # 如果要去掉此限制以进行无限次评估，请删除该行。
  max_evals: 10
}

然后，使用 tensorflow/models 仓库中提供的 eval.py 脚本启动评估过程。

$ python ${OBJECT_DETECTION_API_DIR}/legacy/eval.py --logtostderr --checkpoint_dir=training --eval_dir=eval --pipeline_config_path=training/pipeline.config

片刻之后，您将获得评估结果。如果您想以可视化方式查看结果，请在浏览器中打开 TensorBoard。

$ tensorboard --logdir=eval/

许可证

MIT

DeepLogo 快速上手指南

DeepLogo 是一个基于 TensorFlow Object Detection API 的品牌 Logo 检测系统。它利用在 COCO、KITTI 和 OpenImages 数据集上预训练的 SSD 模型进行微调，能够快速构建高精度的品牌 Logo 识别模型。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu) 或 macOS
• Python 版本: Python 3.x
• TensorFlow 版本: 必须使用 TensorFlow 1.x (DeepLogo 不支持 TensorFlow 2.0)
• 依赖库:
  • tensorflow/models 仓库 (Object Detection API)
  • protobuf, lxml, Pillow, matplotlib 等常规深度学习依赖

注意：由于该项目依赖较旧的 TensorFlow Object Detection API，建议创建独立的虚拟环境以避免版本冲突。

2. 安装步骤

第一步：配置 TensorFlow Object Detection API

克隆官方仓库并下载预训练的 SSD 模型（此处以 ssd_inception_v2 为例）：

$ git clone https://github.com/tensorflow/models.git
$ cd models/research/object_detection
$ wget http://download.tensorflow.org/models/object_detection/ssd_inception_v2_coco_2018_01_28.tar.gz
$ tar zxvf ssd_inception_v2_coco_2018_01_28.tar.gz

注：请参照 TensorFlow Object Detection API 官方安装文档 完成其余依赖库的安装和环境变量配置。

第二步：获取 DeepLogo 源码

$ cd /your/workspace/path
$ git clone https://github.com/satojkovic/DeepLogo.git
$ cd DeepLogo

第三步：下载数据集

本项目默认使用 Flickr Logos 27 数据集（包含 Adidas, Apple, BMW 等 27 个品牌）：

$ wget http://image.ntua.gr/iva/datasets/flickr_logos/flickr_logos_27_dataset.tar.gz
$ tar zxvf flickr_logos_27_dataset.tar.gz
$ cd flickr_logos_27_dataset
$ tar zxvf flickr_logos_27_dataset_images.tar.gz
$ cd ../

(国内用户若下载缓慢，可尝试寻找国内镜像源或使用代理加速)

第四步：数据预处理

运行脚本清理无效标注（如空边界框），并将类别名称转换为数字 ID：

$ python preproc_annot.py

第五步：生成 TFRecord 文件

将预处理后的数据转换为 TensorFlow 所需的 TFRecord 格式：

$ python gen_tfrecord.py --train_or_test train --csv_input flickr_logos_27_dataset/flickr_logos_27_dataset_training_set_annotation_cropped.txt --img_dir flickr_logos_27_dataset/flickr_logos_27_dataset_images --output_path train.tfrecord
$ python gen_tfrecord.py --train_or_test test --csv_input flickr_logos_27_dataset/flickr_logos_27_dataset_test_set_annotation_cropped.txt --img_dir flickr_logos_27_dataset/flickr_logos_27_dataset_images --output_path test.tfrecord

第六步：建立软链接并启动训练

为了让配置文件找到预训练模型，需要建立软链接。重要提示：使用前请确保 tensorflow/models 仓库检出到兼容版本 5ba3c3f5。

$ OBJECT_DETECTION_API_DIR={path to tensorflow/models/research/object_detection}
# 将预训练模型目录链接到 DeepLogo 根目录
$ ln -s ${OBJECT_DETECTION_API_DIR}/ssd_inception_v2_coco_2018_01_28 ssd_inception_v2_coco_2018_01_28

# 开始训练
$ python ${OBJECT_DETECTION_API_DIR}/legacy/train.py --logtostderr --pipeline_config_path=ssd_inception_v2_coco.config --train_dir=training

3. 基本使用

训练完成后，您可以导出模型并对新图片进行 Logo 检测。

方法 A：使用自己训练的模型

1. 导出推理图 (Inference Graph) 假设模型在第 {STEPS} 步保存（例如 model.ckpt-50000）：

   $ STEPS=50000
   $ python ${OBJECT_DETECTION_API_DIR}/export_inference_graph.py --input_type=image_tensor --pipeline_config_path=ssd_inception_v2_coco.config --trained_checkpoint_prefix=model.ckpt-${STEPS} --output_directory=logos_inference_graph
   

2. 执行检测 运行检测脚本，结果将保存在 detect_results 目录中：

   $ python logo_detection.py --model_name logos_inference_graph/ --label_map flickr_logos_27_label_map.pbtxt --test_annot_text flickr_logos_27_dataset/flickr_logos_27_dataset_test_set_annotation_cropped.txt --test_image_dir flickr_logos_27_dataset/flickr_logos_27_dataset_images --output_dir detect_results
   

方法 B：直接使用预训练模型（快速体验）

如果您不想重新训练，可以直接从 Google Drive 下载作者训练好的模型，解压后放入项目目录，然后直接执行上述 第 2 步 (执行检测) 命令即可看到效果。

模型评估（可选）

如需量化评估模型性能，请先修改 training/pipeline.config 中的 num_examples 为测试集图片数量（Flickr Logos 27 测试集通常为 438 张），然后运行：

$ python ${OBJECT_DETECTION_API_DIR}/legacy/eval.py --logtostderr --checkpoint_dir=training --eval_dir=eval --pipeline_config_path=training/pipeline.config

使用 TensorBoard 可视化评估结果：

$ tensorboard --logdir=eval/