Keras-RCNN

.. image:: https://travis-ci.org/broadinstitute/keras-rcnn.svg?branch=master :target: https://travis-ci.org/broadinstitute/keras-rcnn

.. image:: https://codecov.io/gh/broadinstitute/keras-rcnn/branch/master/graph/badge.svg :target: https://codecov.io/gh/broadinstitute/keras-rcnn

keras-rcnn 是用于基于区域的卷积神经网络的 Keras 包。

要求

Python 3

keras-resnet==0.2.0

numpy==1.16.2

tensorflow==1.13.1

Keras==2.2.4

scikit-image==0.15.0

快速入门

让我们读取并检查一些数据：

.. code:: python

training_dictionary, test_dictionary = keras_rcnn.datasets.shape.load_data()

categories = {"circle": 1, "rectangle": 2, "triangle": 3}

generator = keras_rcnn.preprocessing.ObjectDetectionGenerator()

generator = generator.flow_from_dictionary(
    dictionary=training_dictionary,
    categories=categories,
    target_size=(224, 224)
)

validation_data = keras_rcnn.preprocessing.ObjectDetectionGenerator()

validation_data = validation_data.flow_from_dictionary(
    dictionary=test_dictionary,
    categories=categories,
    target_size=(224, 224)
)

target, _ = generator.next()

target_bounding_boxes, target_categories, target_images, target_masks, target_metadata = target

target_bounding_boxes = numpy.squeeze(target_bounding_boxes)

target_images = numpy.squeeze(target_images)

target_categories = numpy.argmax(target_categories, -1)

target_categories = numpy.squeeze(target_categories)

keras_rcnn.utils.show_bounding_boxes(target_images, target_bounding_boxes, target_categories)

让我们创建一个 RCNN 实例：

.. code:: python

model = keras_rcnn.models.RCNN((224, 224, 3), ["circle", "rectangle", "triangle"])

并将我们首选的优化器传递给 compile 方法：

.. code:: python

optimizer = keras.optimizers.Adam(0.0001)

model.compile(optimizer)

最后，让我们使用 fit_generator 方法来训练我们的网络：

.. code:: python

model.fit_generator(    
    epochs=10,
    generator=generator,
    validation_data=validation_data
)

外部数据

数据由与图像对应的字典列表组成。

• 对于每张图像，添加一个包含键 'image' 和 'objects' 的字典：
  • 'image' 是一个字典，包含键 'checksum'、'pathname' 和 'shape'：
    • 'checksum' 是图像的 md5 校验和
    • 'pathname' 是图像的完整路径
    • 'shape' 是一个包含键 'r'、'c' 和 'channels' 的字典：
      • 'c': 列数
      • 'r': 行数
      • 'channels': 通道数
  • 'objects' 是一个字典列表，其中每个字典包含键 'bounding_box' 和 'category'：
    • 'bounding_box' 是一个字典，包含键 'minimum' 和 'maximum'：
      • 'minimum': 一个字典，包含键 'r' 和 'c'：
        • 'r': 最小边界框的行号
        • 'c': 最小边界框的列号
      • 'maximum': 一个字典，包含键 'r' 和 'c'：
        • 'r': 最大边界框的行号
        • 'c': 最大边界框的列号
    • 'category' 是表示类别名称的字符串

假设这些数据保存在一个名为 training.json 的文件中。要加载数据，

.. code:: python

import json

with open('training.json') as f:
    d = json.load(f)

Slack

我们一直在 keras.io Slack 服务器上的 #keras-rcnn 频道中开会。

您可以通过以下网站自行邀请加入该服务器：

https://keras-slack-autojoin.herokuapp.com/

Keras-RCNN 快速上手指南

Keras-RCNN 是专为 Keras 设计的基于区域的卷积神经网络（Region-based Convolutional Neural Networks）包，用于目标检测任务。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：Python 3
• 核心依赖：
  • tensorflow==1.13.1
  • Keras==2.2.4
  • keras-resnet==0.2.0
  • numpy==1.16.2
  • scikit-image==0.15.0

注意：该工具对特定版本的依赖较为严格，建议创建独立的虚拟环境以避免冲突。

安装步骤

推荐使用 pip 进行安装。国内开发者可使用清华或阿里镜像源加速下载。

1. 创建并激活虚拟环境（可选但推荐）：

   python -m venv keras_rcnn_env
   source keras_rcnn_env/bin/activate  # Windows 使用: keras_rcnn_env\Scripts\activate
   

2. 安装依赖包： 由于版本锁定严格，建议直接安装指定版本：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.13.1 Keras==2.2.4 keras-resnet==0.2.0 numpy==1.16.2 scikit-image==0.15.0
   

3. 安装 Keras-RCNN： 目前主要通过源码安装：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple git+https://github.com/broadinstitute/keras-rcnn.git
   

基本使用

以下是最简单的使用流程，涵盖数据加载、模型构建与训练。

1. 加载数据与预处理

使用内置的形状数据集进行演示，并配置数据生成器。

import numpy
import keras_rcnn.datasets.shape
import keras_rcnn.preprocessing
import keras_rcnn.utils

# 加载示例数据
training_dictionary, test_dictionary = keras_rcnn.datasets.shape.load_data()

# 定义类别映射
categories = {"circle": 1, "rectangle": 2, "triangle": 3}

# 创建训练数据生成器
generator = keras_rcnn.preprocessing.ObjectDetectionGenerator()
generator = generator.flow_from_dictionary(
    dictionary=training_dictionary,
    categories=categories,
    target_size=(224, 224)
)

# 创建验证数据生成器
validation_data = keras_rcnn.preprocessing.ObjectDetectionGenerator()
validation_data = validation_data.flow_from_dictionary(
    dictionary=test_dictionary,
    categories=categories,
    target_size=(224, 224)
)

#  inspect 数据（可选）
target, _ = generator.next()
target_bounding_boxes, target_categories, target_images, target_masks, target_metadata = target

target_bounding_boxes = numpy.squeeze(target_bounding_boxes)
target_images = numpy.squeeze(target_images)
target_categories = numpy.argmax(target_categories, -1)
target_categories = numpy.squeeze(target_categories)

keras_rcnn.utils.show_bounding_boxes(target_images, target_bounding_boxes, target_categories)

2. 构建模型

初始化 RCNN 模型，指定输入形状和类别列表。

import keras_rcnn.models

# 创建模型实例
model = keras_rcnn.models.RCNN((224, 224, 3), ["circle", "rectangle", "triangle"])

3. 编译与训练

配置优化器并开始训练。

import keras.optimizers

# 配置优化器
optimizer = keras.optimizers.Adam(0.0001)

# 编译模型
model.compile(optimizer)

# 开始训练
model.fit_generator(    
    epochs=10,
    generator=generator,
    validation_data=validation_data
)

关于外部数据格式

如果您需要使用自己的数据集，数据需组织为字典列表（通常保存为 JSON 文件）。每个图像条目应包含 image（含路径、校验和、形状）和 objects（含边界框坐标及类别名称）字段。

加载自定义数据的示例：

import json

with open('training.json') as f:
    d = json.load(f)