ImageAI（v3.0.3）

一个开源的 Python 库，旨在使开发者能够仅用简单且少量的代码，构建具备独立深度学习和计算机视觉功能的应用程序和系统。

如果您希望赞助本项目，请访问 GitHub 赞助页面。

---------------------------------------------------

介绍 Jarvis 和 TheiaEngine。

我们，ImageAI 的创建者，很高兴宣布两项新的 AI 项目，它们将在您的个人电脑和服务器上提供最先进的生成式 AI、LLM 和图像理解能力。

在 PC/Mac 上安装 Jarvis，即可为您的日常工作、研究以及生成式 AI 需求设置无限访问权限的 LLM 驱动 AI 聊天功能，同时保证 100% 的隐私性和完全离线运行能力。

请访问 https://jarvis.genxr.co 开始使用。

TheiaEngine，是下一代计算机视觉 AI API，能够在一次 API 调用中完成所有生成式和理解类计算机视觉任务，并通过 REST API 对所有编程语言开放。其特点包括：

• 检测 300 多种物体（比 ImageAI 多 220 种）
• 回答关于图像内容或上下文的任何问题
  • 这对于获取任何物体、动作或信息的相关资料非常有用，而无需为每个任务训练新的自定义模型
• 生成场景描述和摘要
• 将 2D 图像转换为 3D 点云和三角网格
• 对物体、墙壁、地板等进行语义场景映射
• 无状态的人脸识别和情绪检测
• 根据提示生成和增强图像
• 等等。

请访问 https://www.genxr.co/theia-engine 体验演示并立即加入测试版计划。

---------------------------------------------------

由 Moses Olafenwa 开发并维护。

---

以简洁为核心设计，ImageAI 支持一系列最先进的机器学习算法，用于图像预测、自定义图像预测、目标检测、视频目标检测、视频目标跟踪 以及图像预测训练。目前，ImageAI 支持使用 4 种不同的机器学习算法进行图像预测和训练， 这些算法均基于 ImageNet-1000 数据集进行训练。此外，ImageAI 还支持使用 RetinaNet、YOLOv3 和 TinyYOLOv3 进行目标检测、视频目标检测和目标跟踪，这些模型则基于 COCO 数据集进行训练。最后，ImageAI 允许您训练自定义模型，以执行新物体的检测和识别。

未来，ImageAI 将提供更多更专业的计算机视觉功能。

新版本：ImageAI 3.0.2

新增内容：

• PyTorch 后端
• TinyYOLOv3 模型训练

目录

• :white_square_button: 安装
• :white_square_button: 特性
• :white_square_button: 文档
• :white_square_button: 赞助商
• :white_square_button: 基于 ImageAI 构建的项目
• :white_square_button: 高性能实现
• :white_square_button: AI 实践建议
• :white_square_button: 联系开发者
• :white_square_button: 引用
• :white_square_button: 参考文献

安装

要安装 ImageAI，请在命令行中运行以下 Python 安装说明：

• 下载并安装 Python 3.7、Python 3.8、Python 3.9 或 Python 3.10

• 安装依赖项

  • CPU：下载 requirements.txt 文件，并通过以下命令安装：

    pip install -r requirements.txt
    

    或直接复制并运行以下命令：

    pip install cython pillow>=7.0.0 numpy>=1.18.1 opencv-python>=4.1.2 torch>=1.9.0 --extra-index-url https://download.pytorch.org/whl/cpu torchvision>=0.10.0 --extra-index-url https://download.pytorch.org/whl/cpu pytest==7.1.3 tqdm==4.64.1 scipy>=1.7.3 matplotlib>=3.4.3 mock==4.0.3
    

  • GPU/CUDA：下载 requirements_gpu.txt 文件，并通过以下命令安装：

    pip install -r requirements_gpu.txt
    

    或直接复制并运行以下命令：

    pip install cython pillow>=7.0.0 numpy>=1.18.1 opencv-python>=4.1.2 torch>=1.9.0 --extra-index-url https://download.pytorch.org/whl/cu102 torchvision>=0.10.0 --extra-index-url https://download.pytorch.org/whl/cu102 pytest==7.1.3 tqdm==4.64.1 scipy>=1.7.3 matplotlib>=3.4.3 mock==4.0.3
    

• 如果您计划训练自定义 AI 模型，请下载 requirements_extra.txt 文件，并通过以下命令安装：

  pip install -r requirements_extra.txt
  

  或直接复制并运行以下命令：

  pip install pycocotools@git+https://github.com/gautamchitnis/cocoapi.git@cocodataset-master#subdirectory=PythonAPI
  

• 最后，运行以下命令安装 ImageAI：

  pip install imageai --upgrade
  

功能

图像分类

ImageAI 提供了四种不同的算法和模型类型来进行图像预测，这些模型均基于 ImageNet-1000 数据集进行训练。这四种用于图像预测的算法包括 MobileNetV2、ResNet50、InceptionV3 和 DenseNet121。 点击下方链接查看完整的示例代码、详细说明以及最佳实践指南。 >>> 开始使用

物体检测

ImageAI 提供了非常便捷且强大的方法，用于在图像中执行物体检测，并从图像中提取每个物体。物体检测类支持 RetinaNet、YOLOv3 和 TinyYOLOv3，并提供选项以调整至最先进的性能或实现实时处理。点击下方链接查看完整的示例代码、详细说明以及最佳实践指南。 >>> 开始使用

视频物体检测与分析

ImageAI 提供了非常便捷且强大的方法，用于在视频中执行物体检测。提供的视频物体检测类目前仅支持最先进的 RetinaNet。点击链接查看完整视频、示例代码、详细说明以及最佳实践指南。 >>> 开始使用

自定义分类模型训练

ImageAI 提供了类和方法，使您能够训练一个新的模型，该模型可用于对您自定义的对象进行预测。您只需五行代码，即可使用 MobileNetV2、ResNet50、InceptionV3 和 DenseNet 训练自定义模型。点击下方链接查看准备训练图像的指南、示例训练代码、详细说明以及最佳实践建议。 >>> 开始使用

自定义模型分类

ImageAI 提供了类和方法，使您能够使用通过 ImageAI 模型训练类训练的自定义模型，对自己的自定义对象进行图像预测。您可以使用通过 MobileNetV2、ResNet50、InceptionV3 和 DenseNet 训练的自定义模型，以及包含自定义对象名称映射的 JSON 文件。点击下方链接查看示例训练代码、详细说明以及最佳实践指南。 >>> 开始使用

自定义检测模型训练

ImageAI 提供了类和方法，使您能够基于自定义数据集训练新的 YOLOv3 或 TinyYOLOv3 物体检测模型。这意味着您可以通过提供图像、标注并借助 ImageAI 进行训练，来训练一个能够检测任何感兴趣对象的模型。点击下方链接查看示例训练代码、详细说明以及最佳实践指南。 >>> 开始使用

自定义物体检测

ImageAI 现在提供了类和方法，使您能够使用通过 DetectionModelTrainer 类训练的自定义模型，在图像中检测和识别您自己的自定义对象。您可以使用自己训练的 YOLOv3 或 TinyYOLOv3 模型，以及训练过程中生成的 **.json** 文件。点击下方链接查看示例训练代码、详细说明以及最佳实践指南。 >>> 开始使用

自定义视频物体检测与分析

ImageAI 现在提供了类和方法，使您能够使用通过 DetectionModelTrainer 类训练的自定义模型，在图像中检测和识别您自己的自定义对象。您可以使用自己训练的 YOLOv3 或 TinyYOLOv3 模型，以及训练过程中生成的 **.json** 文件。点击下方链接查看示例训练代码、详细说明以及最佳实践指南。 >>> 开始使用

文档

我们为所有 ImageAI 类和函数提供了完整的文档。请访问以下链接：

• 文档 - 英文版 https://imageai.readthedocs.io

赞助商

实时与高性能实现

ImageAI 提供了对最先进计算机视觉技术的抽象化和便捷实现。所有 ImageAI 的实现和代码都可以在具有中等 CPU 性能的任何计算机系统上运行。然而，在 CPU 上执行图像预测、物体检测等操作的速度较慢，不适合实时应用。若要以高性能执行实时计算机视觉任务，您需要使用支持 GPU 的技术。

ImageAI 在其计算机视觉操作中使用 PyTorch 作为后端框架。PyTorch 同时支持 CPU 和 GPU（尤其是 NVIDIA GPU。您可以为自己的电脑配备 GPU，或者直接购买已配备 GPU 的电脑）来实现机器学习和人工智能算法。

基于 ImageAI 构建的项目

AI 实践建议

对于任何有兴趣构建人工智能系统并将其应用于商业、经济、社会和研究领域的人来说，至关重要的是要了解使用这些技术可能带来的积极、消极以及前所未有的影响。 他们还必须熟悉经验丰富的行业专家推荐的方法和实践，以确保人工智能的每一次应用都能为人类带来整体利益。 因此，我们建议所有希望使用 ImageAI 及其他人工智能工具和资源的人阅读微软于 2018 年 1 月发布的关于人工智能的报告《未来已来：人工智能及其在社会中的角色》。 请通过以下链接下载该报告：

https://blogs.microsoft.com/blog/2018/01/17/future-computed-artificial-intelligence-role-society

联系开发者

• 摩西·奥拉芬瓦
  • 邮箱: guymodscientist@gmail.com
  • Twitter: @OlafenwaMoses
  • Medium: @guymodscientist
  • Facebook: moses.olafenwa
• 约翰·奥拉芬瓦
  • 邮箱: johnolafenwa@gmail.com
  • 网站: https://john.aicommons.science
  • Twitter: @johnolafenwa
  • Medium: @johnolafenwa
  • Facebook: olafenwajohn

引用

您可以通过以下 BibTeX 条目在您的项目和研究论文中引用 ImageAI。

@misc {ImageAI,
    author = "Moses",
    title  = "ImageAI，一个开源的 Python 库，旨在帮助开发者构建具有自包含计算机视觉功能的应用程序和系统",
    url    = "https://github.com/OlafenwaMoses/ImageAI",
    month  = "mar",
    year   = "2018--"
}

参考文献

1. Somshubra Majumdar，论文《密集连接卷积网络》的 Keras 实现——DenseNet https://github.com/titu1994/DenseNet
2. 麻省理工学院和哈佛大学布罗德研究所，深度残差网络的 Keras 包 https://github.com/broadinstitute/keras-resnet
3. Fizyr，RetinaNet 目标检测的 Keras 实现 https://github.com/fizyr/keras-retinanet
4. Francois Chollet，流行深度学习模型的 Keras 代码和权重文件 https://github.com/fchollet/deep-learning-models
5. Forrest N. 等人，SqueezeNet：参数量减少 50 倍、模型大小小于 0.5MB 却达到 AlexNet 级别的准确率 https://arxiv.org/abs/1602.07360
6. Kaiming H. 等人，用于图像识别的深度残差学习 https://arxiv.org/abs/1512.03385
7. Szegedy 等人，重新思考计算机视觉中的 Inception 架构 https://arxiv.org/abs/1512.00567
8. Gao 等人，密集连接卷积网络 https://arxiv.org/abs/1608.06993
9. Tsung-Yi 等人，用于密集目标检测的焦点损失 https://arxiv.org/abs/1708.02002
10. O Russakovsky 等人，ImageNet 大规模视觉识别挑战赛 https://arxiv.org/abs/1409.0575
11. TY Lin 等人，Microsoft COCO：上下文中的常见物体 https://arxiv.org/abs/1405.0312
12. 摩西与约翰·奥拉芬瓦，可识别专业人士的图片集 https://github.com/OlafenwaMoses/IdenProf
13. Joseph Redmon 和 Ali Farhadi，YOLOv3：一项渐进式改进 https://arxiv.org/abs/1804.02767
14. Experiencor，使用 YOLO3 进行训练和目标检测 https://github.com/experiencor/keras-yolo3
15. MobileNetV2：倒置残差与线性瓶颈 https://arxiv.org/abs/1801.04381
16. PyTorch > ONNX > CoreML > TFLite 中的 YOLOv3 https://github.com/ultralytics/yolov3

ImageAI 快速上手指南

ImageAI 是一个开源 Python 库，旨在让开发者仅需几行代码即可构建具备深度学习和计算机视觉能力的应用。它支持图像分类、物体检测、视频分析及自定义模型训练等功能。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Windows, Linux, macOS
• Python 版本：推荐安装 Python 3.7, 3.8, 3.9 或 3.10。
  • 下载地址：https://www.python.org/downloads/
• 硬件建议：
  • CPU：适用于学习和轻量级任务。
  • GPU (CUDA)：如需进行实时处理或模型训练，建议配备 NVIDIA 显卡并安装对应的 CUDA 驱动。

2. 安装步骤

打开终端（Terminal）或命令提示符（CMD），按顺序执行以下命令。

第一步：安装基础依赖

根据您的硬件环境选择以下其中一条命令执行：

选项 A：仅使用 CPU

pip install cython pillow>=7.0.0 numpy>=1.18.1 opencv-python>=4.1.2 torch>=1.9.0 --extra-index-url https://download.pytorch.org/whl/cpu torchvision>=0.10.0 --extra-index-url https://download.pytorch.org/whl/cpu pytest==7.1.3 tqdm==4.64.1 scipy>=1.7.3 matplotlib>=3.4.3 mock==4.0.3

选项 B：使用 GPU (CUDA 10.2)

pip install cython pillow>=7.0.0 numpy>=1.18.1 opencv-python>=4.1.2 torch>=1.9.0 --extra-index-url https://download.pytorch.org/whl/cu102 torchvision>=0.10.0 --extra-index-url https://download.pytorch.org/whl/cu102 pytest==7.1.3 tqdm==4.64.1 scipy>=1.7.3 matplotlib>=3.4.3 mock==4.0.3

国内加速提示：如果下载速度较慢，可在上述命令的 pip install 后添加 -i https://pypi.tuna.tsinghua.edu.cn/simple 使用清华镜像源加速基础包下载（注意：PyTorch 的特殊索引 URL 需保留原样）。

第二步：安装自定义训练依赖（可选）

如果您计划训练自己的 AI 模型，请额外运行：

pip install pycocotools@git+https://github.com/gautamchitnis/cocoapi.git@cocodataset-master#subdirectory=PythonAPI

第三步：安装 ImageAI

最后，安装或升级 ImageAI 库：

pip install imageai --upgrade

3. 基本使用

以下是最简单的图像分类示例。该代码将使用预训练的 ResNet50 模型识别图片内容。

示例代码：图像分类预测

请确保当前目录下有一张名为 input.jpg 的图片，然后创建 predict.py 文件并写入以下代码：

from imageai.Classification import ImageClassification
import os

# 初始化分类器
execution_path = os.getcwd()
predictor = ImageClassification()
predictor.setModelTypeAsResNet()
predictor.setModelPath(os.path.join(execution_path, "resnet50_weights_tf_dim_224_tf_1.0.0.h5"))
predictor.loadModel()

# 执行预测
predictions, probabilities = predictor.classifyImage(
    os.path.join(execution_path, "input.jpg"), 
    result_count=5
)

# 输出结果
for eachPrediction, eachProbability in zip(predictions, probabilities):
    print(f"{eachPrediction} : {eachProbability}%")

运行说明

1. 下载模型：首次运行时，ImageAI 会自动下载 resnet50_weights_tf_dim_224_tf_1.0.0.h5 模型文件（约 98MB）。如果自动下载失败，可手动从官方文档提供的链接下载并放在脚本同一目录下。
2. 准备图片：将任意图片重命名为 input.jpg 并放在脚本同一目录。
3. 运行脚本：

   python predict.py
   

程序将输出图片中概率最高的前 5 个物体类别及其置信度。

---

更多功能（如物体检测、视频分析、自定义模型训练）请参考官方文档：https://imageai.readthedocs.io