Detecto 是一个 Python 包，只需 5 行代码即可构建功能完备的计算机视觉 (Computer Vision) 和目标检测 (Object Detection) 模型。对静态图像和视频进行推理、在自定义数据集上进行迁移学习 (Transfer Learning) 以及将模型序列化到文件，这些只是 Detecto 的部分功能。Detecto 基于 PyTorch 构建，允许在两个库之间轻松迁移模型。

下表展示了 Detecto 性能的几个示例：

静态图像	视频

安装

要使用 pip 安装 Detecto，请运行以下命令：

pip3 install detecto

使用 pip 安装应会自动下载 Detecto 的所有依赖项。但是，如果出现问题，您可以手动下载 requirements.txt 文件中列出的依赖项。

用法

Detecto 的强大之处在于其简单性和易用性。从 PyTorch 的模型库创建并运行预训练的 Faster R-CNN ResNet-50 FPN 只需 4 行代码：

from detecto.core import Model
from detecto.visualize import detect_video

model = Model()  # Initialize a pre-trained model
detect_video(model, 'input_video.mp4', 'output.avi')  # Run inference on a video

以下是使用 Detecto 可以完成的更多示例：

在自定义数据集上进行迁移学习

大多数情况下，您需要一个能够检测自定义目标的计算机视觉模型。使用 Detecto，您只需 5 行代码即可在自定义数据集上训练模型：

from detecto.core import Model, Dataset

dataset = Dataset('custom_dataset/')  # Load images and label data from the custom_dataset/ folder

model = Model(['dog', 'cat', 'rabbit'])  # Train to predict dogs, cats, and rabbits
model.fit(dataset)

model.predict(...)  # Start using your trained model!

推理与可视化

当使用模型进行推理时，Detecto 以易于使用的格式返回预测结果，并提供多种可视化工具：

from detecto.core import Model
from detecto import utils, visualize

model = Model()

image = utils.read_image('image.jpg')  # Helper function to read in images

labels, boxes, scores = model.predict(image)  # Get all predictions on an image
predictions = model.predict_top(image)  # Same as above, but returns only the top predictions

print(labels, boxes, scores)
print(predictions)

visualize.show_labeled_image(image, boxes, labels)  # Plot predictions on a single image

images = [...]
visualize.plot_prediction_grid(model, images)  # Plot predictions on a list of images

visualize.detect_video(model, 'input_video.mp4', 'output.avi')  # Run inference on a video
visualize.detect_live(model)  # Run inference on a live webcam

高级用法

如果您想更多地控制模型的训练方式，Detecto 也能满足您的需求：

from detecto import core, utils
from torchvision import transforms
import matplotlib.pyplot as plt

# Convert XML files to CSV format
utils.xml_to_csv('training_labels/', 'train_labels.csv')
utils.xml_to_csv('validation_labels/', 'val_labels.csv')

# Define custom transforms to apply to your dataset
custom_transforms = transforms.Compose([
    transforms.ToPILImage(),
    transforms.Resize(800),
    transforms.ColorJitter(saturation=0.3),
    transforms.ToTensor(),
    utils.normalize_transform(),
])

# Pass in a CSV file instead of XML files for faster Dataset initialization speeds
dataset = core.Dataset('train_labels.csv', 'images/', transform=custom_transforms)
val_dataset = core.Dataset('val_labels.csv', 'val_images')  # Validation dataset for training

# Create your own DataLoader with custom options
loader = core.DataLoader(dataset, batch_size=2, shuffle=True) 

# Use MobileNet instead of the default ResNet
model = core.Model(['car', 'truck', 'boat', 'plane'], model_name='fasterrcnn_mobilenet_v3_large_fpn')
losses = model.fit(loader, val_dataset, epochs=15, learning_rate=0.001, verbose=True)

plt.plot(losses)  # Visualize loss throughout training
plt.show()

model.save('model_weights.pth')  # Save model to a file

# Directly access underlying torchvision model for even more control
torch_model = model.get_internal_model()
print(type(torch_model))

更多示例请访问 文档，其中包含 快速入门 教程。

或者，查看 Colab 上的演示。

API 文档

完整的 API 文档可以在 detecto.readthedocs.io 找到。 文档分为三个部分，分别对应 Detecto 的三个模块：

Core

detecto.core 模块包含该包的核心类：Dataset、DataLoader 和 Model。它们用于读取带标签的数据集并训练功能完备的目标检测模型。

Utils

detecto.utils 模块包含各种有用的辅助函数。使用它，您可以读取图像、将 XML 文件转换为 CSV 文件、对图像应用标准变换等。

Visualize

detecto.visualize 模块用于显示带标签的图像、绘制预测结果以及对视频运行目标检测。

贡献

欢迎所有的 issue 和 pull request！要在本地运行代码，请先 fork 该仓库，然后在您的计算机上运行以下命令：

git clone https://github.com/<your-username>/detecto.git
cd detecto

# 建议在下一步之前创建一个 virtual environment（虚拟环境）
pip3 install -r requirements.txt

在添加代码时，请务必在必要时编写 unit tests（单元测试）和 docstrings（文档字符串）。

测试位于 detecto/tests 目录下，可以使用 pytest 运行：

python3 -m pytest

请注意，某些测试可能会失败，因为它们需要一个 pretrained model file（预训练模型文件）。 该文件可以在此处下载， 并应放置在 detecto/tests/static/model.pth。

要在本地生成文档，请运行以下命令：

cd docs
make html

随后可以在 docs/_build/html/index.html 查看文档。

联系方式

Detecto 由 Alan Bi 创建。欢迎通过 Twitter 或 电子邮件 联系！

Detecto 快速上手指南

环境准备

Detecto 是一个基于 PyTorch 构建的 Python 计算机视觉库。在使用前，请确保您的系统满足以下条件：

• Python 环境：需安装 Python 3.x。
• 依赖库：核心依赖为 PyTorch。虽然 pip 安装会自动处理依赖，但为了确保 GPU 加速等功能正常运作，建议提前配置好 PyTorch 环境。

安装步骤

推荐使用 pip 进行安装，该命令会自动下载 Detecto 及其相关依赖：

pip3 install detecto

注意：如果安装过程中出现依赖问题，请参考项目源码中的 requirements.txt 文件手动安装。

基本使用

Detecto 的设计初衷是极简主义，以下展示了三种最核心的使用场景。

1. 使用预训练模型进行视频推理

只需 4 行代码，即可加载预训练模型（Faster R-CNN ResNet-50 FPN）并对视频进行目标检测：

from detecto.core import Model
from detecto.visualize import detect_video

model = Model()  # 初始化预训练模型
detect_video(model, 'input_video.mp4', 'output.avi')  # 对视频运行推理

2. 自定义数据集训练

针对自定义物体进行检测，仅需 5 行代码即可完成迁移学习：

from detecto.core import Model, Dataset

dataset = Dataset('custom_dataset/')  # 从文件夹加载图像和标签数据
model = Model(['dog', 'cat', 'rabbit'])  # 指定需要识别的类别
model.fit(dataset)  # 在自定义数据集上训练

model.predict(...)  # 使用训练好的模型进行预测

3. 图像推理与可视化

对单张图片进行预测，并可视化检测结果：

from detecto.core import Model
from detecto import utils, visualize

model = Model()
image = utils.read_image('image.jpg')  # 读取图像

labels, boxes, scores = model.predict(image)  # 获取预测结果
visualize.show_labeled_image(image, boxes, labels)  # 在图像上绘制预测框并显示