开源深度学习服务器与API

DeepDetect (https://www.deepdetect.com/) 是一款用C++11编写的机器学习API和服务器。它使最先进的机器学习技术易于使用，并能轻松集成到现有应用中。该平台同时支持训练和推理，能够自动转换为搭载TensorRT（NVIDIA GPU）和NCNN（ARM CPU）的嵌入式平台。

DeepDetect实现了对图像、文本、时间序列及其他数据的有监督和无监督深度学习支持，注重简洁性和易用性，便于测试及与现有应用程序的对接。它支持分类、目标检测、分割、回归、自编码器等任务。

此外，DeepDetect通过一个高度通用且灵活的API依赖于外部机器学习库。目前支持以下库：

• 深度学习库：Caffe、Tensorflow、Caffe2、Torch、NCNN、Tensorrt以及Dlib
• 分布式梯度提升库：XGBoost
• 聚类算法：T-SNE
• 相似性搜索：Annoy 和 FAISS

欢迎加入Gitter社区，在那里我们将帮助用户解决安装、API使用、神经网络搭建以及与外部应用集成等方面的问题。

---

构建类型	稳定版	开发版
源代码

所有DeepDetect Docker镜像均可从https://docker.jolibrain.com/获取。

• 列出所有可用镜像：

curl -X GET https://docker.jolibrain.com/v2/_catalog

• 列出特定镜像的标签，例如deepdetect_cpu镜像：

curl -X GET https://docker.jolibrain.com/v2/deepdetect_cpu/tags/list

---

• 主要特性

• 各机器学习库的功能

• 安装指南

  • Docker方式
  • 源码方式
  • 亚马逊AMI：GPU 和 CPU
  • 模拟持续集成测试

• 预训练模型

• 生态系统

  • 平台介绍
  • 使用docker-compose部署平台
  • 使用Helm（Kubernetes）部署平台
  • 工具与客户端

• 文档：

  • 简介
  • API快速入门：几分钟内即可搭建一个图像分类API服务
  • API教程：从文本、数据和图像中进行训练，设置预测服务，并导出至外部软件（如ElasticSearch）
  • API参考
  • 示例：包括用于数据和文本的MLP、多目标回归到CNN和GoogleNet、微调等
  • 常见问题解答

• 演示：

  • 图像分类Web应用，采用HTML和JavaScript实现
  • 图像相似性搜索，使用Python客户端
  • 图像目标检测，使用Python客户端
  • 图像分割，使用Python客户端

• 性能工具与报告，分别在NVIDIA桌面级和嵌入式GPU上，以及Raspberry Pi 3上完成

• 参考文献

• 作者

主要特性

• 高层次的机器学习和深度学习API
• 支持Caffe、Tensorflow、XGBoost、T-SNE、Caffe2、NCNN、TensorRT、Pytorch
• 支持分类、回归、自编码器、目标检测、分割、时间序列分析等任务
• 使用JSON通信格式
• 提供远程Python和JavaScript客户端
• 专用服务器支持异步训练请求
• 性能优异，充分利用多核CPU和GPU资源
• 内置基于神经网络嵌入的相似性搜索功能
• 可处理大规模图像数据集，并支持实时数据增强（如旋转、翻转等）
• 可处理CSV文件，并具备预处理能力
• 可处理文本文件、句子及基于字符的模型
• 可处理SVM格式的稀疏数据
• 内置多种模型评估指标（如F1分数、多分类对数损失等）
• 提供多种特殊损失函数（如Dice损失、轮廓损失等）
• 不依赖数据库同步，所有信息和模型参数均组织在文件系统中并可直接访问
• 灵活的模板输出格式，简化与外部应用的对接
• 提供常用神经网络架构模板（如Googlenet、Alexnet、ResNet、卷积神经网络、基于字符的卷积网络、MLP、逻辑回归、SSD、DeepLab、PSPNet、U-Net、CRNN、ShuffleNet、SqueezeNet、MobileNet、RefineDet、VOVNet等）
• 同时支持GPU和CPU上的稀疏特征和计算
• 内置预测特征、图像、对象及概率分布的相似性索引与搜索功能
• 基于Swagger自动生成文档

各库的机器学习功能

	Caffe	Caffe2	XGBoost	TensorRT	NCNN	Libtorch	Tensorflow	T-SNE	Dlib
服务
训练 (CPU)	Y	Y	Y	N/A	N/A	Y	N	Y	N
训练 (GPU)	Y	Y	Y	N/A	N/A	Y	N	Y	N
推理 (CPU)	Y	Y	Y	N	Y	Y	Y	N/A	Y
推理 (GPU)	Y	Y	Y	Y	N	Y	Y	N/A	Y
模型
分类	Y	Y	Y	Y	Y	Y	Y	N/A	Y
目标检测	Y	Y	N	Y	Y	N	N	N/A	Y
分割	Y	N	N	N	N	N	N	N/A	N
回归	Y	N	Y	N	N	Y	N	N/A	N
自编码器	Y	N	N/A	N	N	N	N	N/A	N
自然语言处理	Y	N	Y	N	N	Y	N	Y	N
OCR / Seq2Seq	Y	N	N	N	Y	N	N	N	N
时间序列	Y	N	N	N	Y	Y	N	N	N
数据
CSV	Y	N	Y	N	N	N	N	Y	N
SVM	Y	N	Y	N	N	N	N	N	N
文本单词	Y	N	Y	N	N	N	N	N	N
文本字符	Y	N	N	N	N	N	N	Y	N
图像	Y	Y	N	Y	Y	Y	Y	Y	Y
时间序列	Y	N	N	N	Y	N	N	N	N

工具和客户端

• Python 客户端：
  • REST 客户端：https://github.com/jolibrain/deepdetect/tree/master/clients/python
  • 类似 scikit-learn 的绑定：https://github.com/ArdalanM/pyDD
• JavaScript 客户端：https://github.com/jolibrain/deepdetect-js
• Java 客户端：https://github.com/kfadhel/deepdetect-api-java
• 早期的 C# 客户端：https://github.com/jolibrain/deepdetect/pull/98
• 通过 TensorBoard 记录 DeepDetect 训练指标：https://github.com/jolibrain/dd_board

模型

	Caffe	Tensorflow	来源	Top-1 准确率（ImageNet）
AlexNet	是	否	BVLC	57.1%
SqueezeNet	是	否	DeepScale	59.5%
Inception v1 / GoogleNet	是	是	BVLC / Google	67.9%
Inception v2	否	是	Google	72.2%
Inception v3	否	是	Google	76.9%
Inception v4	否	是	Google	80.2%
ResNet 50	是	是	MSR	75.3%
ResNet 101	是	是	MSR	76.4%
ResNet 152	是	是	MSR	77%
Inception-ResNet-v2	否	是	Google	79.79%
VGG-16	是	是	Oxford	70.5%
VGG-19	是	是	Oxford	71.3%
ResNext 50	是	否	https://github.com/terrychenism/ResNeXt	76.9%
ResNext 101	是	否	https://github.com/terrychenism/ResNeXt	77.9%
ResNext 152	是	否	https://github.com/terrychenism/ResNeXt	78.7%
DenseNet-121	是	否	https://github.com/shicai/DenseNet-Caffe	74.9%
DenseNet-161	是	否	https://github.com/shicai/DenseNet-Caffe	77.6%
DenseNet-169	是	否	https://github.com/shicai/DenseNet-Caffe	76.1%
DenseNet-201	是	否	https://github.com/shicai/DenseNet-Caffe	77.3%
SE-BN-Inception	是	否	https://github.com/hujie-frank/SENet	76.38%
SE-ResNet-50	是	否	https://github.com/hujie-frank/SENet	77.63%
SE-ResNet-101	是	否	https://github.com/hujie-frank/SENet	78.25%
SE-ResNet-152	是	否	https://github.com/hujie-frank/SENet	78.66%
SE-ResNext-50	是	否	https://github.com/hujie-frank/SENet	79.03%
SE-ResNext-101	是	否	https://github.com/hujie-frank/SENet	80.19%
SENet	是	否	https://github.com/hujie-frank/SENet	81.32%
VOC0712 (目标检测)	是	否	https://github.com/weiliu89/caffe/tree/ssd	71.2 mAP
InceptionBN-21k	是	否	https://github.com/pertusa/InceptionBN-21K-for-Caffe	41.9%
Inception v3 5K	否	是	https://github.com/openimages/dataset
5点人脸关键点检测模型（人脸检测）	否	否	http://blog.dlib.net/2017/09/fast-multiclass-object-detection-in.html
前后车辆检测（目标检测）	否	否	http://blog.dlib.net/2017/09/fast-multiclass-object-detection-in.html

更多模型：

• 免费且可用于商业用途的深度神经网络列表，包括用于图像分类的网络以及基于字符的卷积网络用于文本分类：https://www.deepdetect.com/applications/list_models/

参考文献

• DeepDetect（https://www.deepdetect.com/）
• Caffe（https://github.com/jolibrain/caffe）
• XGBoost（https://github.com/dmlc/xgboost）
• T-SNE（https://github.com/DmitryUlyanov/Multicore-TSNE）

作者

DeepDetect 由 Jolibrain 设计、实现并维护，同时得到了其他贡献者的支持。

DeepDetect 快速上手指南

DeepDetect 是一个用 C++11 编写的高性能机器学习 API 服务器，支持训练与推理，并可通过 JSON 接口轻松集成到现有应用中。它底层支持 Caffe、TensorFlow、PyTorch (Libtorch)、XGBoost、NCNN 和 TensorRT 等多种引擎。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 18.04/20.04/22.04)
• 硬件:
  • CPU 模式: 多核 CPU，内存建议 8GB 以上
  • GPU 模式: NVIDIA GPU (需安装 CUDA 和 cuDNN)，用于加速训练和推理
• 架构支持: x86_64, ARM (如 Raspberry Pi, Jetson Nano)

前置依赖

最推荐的安装方式是使用 Docker，可避免复杂的底层库依赖配置。

• Docker Engine (19.03+)
• Docker Compose (可选，用于部署完整平台)
• curl (用于测试 API)

注意：若需从源码编译，需自行安装 CMake, Boost, OpenCV, Protobuf 及各深度学习后端库（如 Caffe, TensorFlow 等），过程较为繁琐，生产环境强烈建议使用 Docker 镜像。

安装步骤

方式一：使用 Docker（推荐）

DeepDetect 官方提供了预构建的 Docker 镜像，涵盖 CPU 和 GPU 版本。

1. 拉取镜像

   访问官方镜像仓库查看可用标签，或直接拉取最新稳定版。

   # 查看 available images
   curl -X GET https://docker.jolibrain.com/v2/_catalog
   
   # 拉取 CPU 版本镜像
   docker pull jolibrain/deepdetect_cpu
   
   # 拉取 GPU 版本镜像 (需宿主机安装 NVIDIA Container Toolkit)
   docker pull jolibrain/deepdetect_gpu
   

2. 启动容器

   # 启动 CPU 版本，映射端口 8080
   docker run -p 8080:8080 -it jolibrain/deepdetect_cpu
   
   # 启动 GPU 版本 (需要 --gpus 参数)
   docker run --gpus all -p 8080:8080 -it jolibrain/deepdetect_gpu
   

方式二：从源码编译（高级用户）

如需自定义后端或优化性能，可从源码编译。请参考官方文档 docs/source.md。基本流程如下：

git clone https://github.com/jolibrain/deepdetect.git
cd deepdetect
mkdir build && cd build
cmake .. -DUSE_CAFFE=ON -DUSE_TF=ON -DUSE_DLIB=ON
make -j$(nproc)
sudo make install

基本使用

DeepDetect 通过 RESTful JSON API 进行交互。以下示例演示如何创建一个图像分类服务并进行预测。

1. 创建模型服务 (Create Service)

假设我们使用预训练的 ResNet 50 模型进行图像分类。发送 PUT 请求创建服务：

curl -X PUT http://localhost:8080/services/imageservice \
-d '{
  "service": "imageservice",
  "async": false,
  "src": "/opt/deepdetect/models/resnet",
  "mllib": "caffe",
  "description": "Image classification service",
  "type": "supervised",
  "parameters": {
    "input": {
      "width": 224,
      "height": 224
    },
    "mllib": {
      "nclasses": 1000
    }
  }
}'

注：/opt/deepdetect/models/resnet 为容器内预置模型路径，若本地运行需替换为实际路径。

2. 执行预测 (Predict)

上传一张图片进行预测（支持 Base64 编码或图片 URL）：

curl -X POST http://localhost:8080/predict \
-H "Content-Type: application/json" \
-d '{
  "service": "imageservice",
  "parameters": {
    "output": {
      "best": 3
    }
  },
  "data": ["https://raw.githubusercontent.com/jolibrain/deepdetect/master/demo/imgdetect/data/cat.jpg"]
}'

响应示例：

{
  "status": 200,
  "predictions": [
    {
      "classes": [
        {"cat": "tabby cat", "prob": 0.85},
        {"cat": "Egyptian cat", "prob": 0.10},
        {"cat": "tiger cat", "prob": 0.03}
      ]
    }
  ]
}

3. 客户端工具

除了直接使用 curl，DeepDetect 还提供了多种语言的客户端库：

• Python:

  pip install pyDD
  

  或使用官方 REST 客户端：

  from dd_client import DD
  dd = DD('http://localhost:8080')
  # 后续调用训练或预测接口
  

• JavaScript: 参考 deepdetect-js 项目。

• Java/C#: 社区贡献的非官方客户端可用。

通过以上步骤，您已成功部署并调用了 DeepDetect 服务。更多高级功能（如训练新模型、对象检测、文本分析等）请参考官方 API 文档。