Augmentor 是一个用于机器学习的 Python 图像增强库。它的目标是成为一个独立于平台和框架的库，使用起来更加方便，能够对增强操作进行更细粒度的控制，并实现最贴近实际应用场景的增强技术。它采用基于构建模块的随机化方法，允许用户将不同的操作组合成一个流水线。

安装

Augmentor 使用 Python 编写。作为姊妹项目，Julia 版本的包也在开发中，可在此处获取：https://github.com/Evizero/Augmentor.jl。

可通过命令行使用 pip 进行安装：

pip install Augmentor

有关从源代码构建的说明，请参阅文档。若要从旧版本升级，请使用 pip install Augmentor --upgrade。

文档

完整的文档可在 Read the Docs 上找到：https://augmentor.readthedocs.io

快速入门指南与用法

Augmentor 的目的是自动化图像增强（人工数据生成），以扩充作为机器学习算法输入的数据集，尤其是神经网络和深度学习模型。

该软件包通过构建一个增强流水线来工作，在其中您可以定义一系列要在一组图像上执行的操作。例如旋转或变换等操作可以逐一添加，从而创建一个增强流水线；当流水线完成后，即可执行并生成增强后的数据集。

首先，实例化一个指向您文件系统中某个目录的 Pipeline 对象：

import Augmentor
p = Augmentor.Pipeline("/path/to/images")

然后，您可以按照以下方式向流水线对象 p 添加操作：

p.rotate(probability=0.7, max_left_rotation=10, max_right_rotation=10)
p.zoom(probability=0.5, min_factor=1.1, max_factor=1.5)

每个函数都需要您指定一个概率，该概率用于决定在图像通过增强流水线时是否应用该操作。

创建好流水线后，您可以按如下方式从中采样：

p.sample(10000)

这将根据您的设置生成 10,000 张增强后的图像。默认情况下，这些图像会被写入磁盘，保存到名为 output 的目录中，该目录位于上述初始化 p 流水线对象时指定的路径下。

如果您希望流水线中的每张图像仅被处理一次，可以使用 process() 方法：

p.process()

此方法可能在调整数据集大小时很有用。在这种情况下，建议在使用 process() 方法时将流水线中所有操作的概率都设置为 1。

多线程

Augmentor（版本 ≥0.2.1）现在使用多线程来提高图像生成速度。

如果原始图像非常小，这可能会导致某些流水线运行变慢。如果遇到性能下降的情况，可将 multi_threaded 参数设置为 False：

p.sample(100, multi_threaded=False)

不过，默认情况下，sample() 函数会使用多线程。目前这一功能仅在保存到磁盘时启用。在下一个版本更新中，生成器也将支持多线程。

真值数据

图像可以成组地通过流水线处理，以便真值数据能够被完全一致地增强。

原始图像及掩码[3]	增强后的原始图像及掩码

要使真值数据与原始数据同步增强，可以使用 ground_truth() 函数将真值数据目录添加到流水线中：

p = Augmentor.Pipeline("/path/to/images")
# 指向包含真值数据的目录。
# 具有相同文件名的图像将被作为真值数据加入，并与原始数据同步增强。
p.ground_truth("/path/to/ground_truth_images")
# 正常添加其他操作：
p.rotate(probability=1, max_left_rotation=5, max_right_rotation=5)
p.flip_left_right(probability=0.5)
p.zoom_random(probability=0.5, percentage_area=0.8)
p.flip_top_bottom(probability=0.5)
p.sample(50)

多重掩码/图像增强

使用 DataPipeline 类（Augmentor 版本 >= 0.2.3），可以对具有多个关联掩码的图像进行增强：

多重掩码增强

可以将任意长度的图像列表分组后通过管道传递，并使用 DataPipeline 类以相同的方式进行增强。这对于包含多个掩码的真值图像等场景非常有用。

在下面的示例中，图像及其掩码存储在 images 数据结构中（作为列表的列表），而它们的标签则存储在 y 中：

p = Augmentor.DataPipeline(images, y)
p.rotate(1, max_left_rotation=5, max_right_rotation=5)
p.flip_top_bottom(0.5)
p.zoom_random(1, percentage_area=0.5)

augmented_images, labels = p.sample(100)

DataPipeline 直接返回图像（如上文中的 augmented_images），不会将其保存到磁盘，也不会从磁盘读取数据。图像在初始化时直接传递给 DataPipeline。

有关 images 数据结构的详细信息以及如何创建它，请参阅 Multiple-Mask-Augmentation.ipynb Jupyter 笔记本。

用于 Keras 和 PyTorch 的生成器

如果您不想将数据保存到磁盘，可以使用生成器（此处以 Keras 为例）：

g = p.keras_generator(batch_size=128)
images, labels = next(g)

这将返回一个包含 128 张图像及其对应标签的批次。生成器会无限期地返回数据，可用于实时训练带有增强数据的神经网络。

或者，您也可以将其与 PyTorch 集成：

import torchvision
transforms = torchvision.transforms.Compose([
    p.torch_transform(),
    torchvision.transforms.ToTensor(),
])

主要特性

弹性扭曲

利用弹性扭曲功能，可以基于一张原始图像生成大量符合现实情况且标签保持不变的增强图像：

输入图像		增强后的图像
	→

输入图像周围有一圈 1 像素宽的黑色边框，以强调在不改变原始图像尺寸和宽高比、也不添加任何黑色或透明填充的情况下进行了扭曲处理。

该功能的效果在此处更加清晰：

原始图像[1]	应用随机扭曲

透视变换

共有12种不同的透视变换类型可供选择。以下展示了其中最常用的四种。

向左倾斜	向右倾斜	向前倾斜	向后倾斜

其余八种变换类型如下：

倾斜类型0	倾斜类型1	倾斜类型2	倾斜类型3

倾斜类型4	倾斜类型5	倾斜类型6	倾斜类型7

保持尺寸的旋转

默认情况下，旋转操作会保持原始图像的尺寸不变：

原始图像	旋转10度，自动裁剪

与其他软件的旋转效果相比：

原始图像	旋转10度

保持尺寸的剪切变换

剪切变换还会自动从剪切后的图像中裁剪出正确的区域，从而得到一张没有黑色空白或填充的图像。

原始图像	沿x轴剪切20度	沿y轴剪切20度

与此相对比的是常规的处理方式：

原始图像	沿x轴剪切20度	沿y轴剪切20度

裁剪

裁剪也可以以更适合机器学习图像增强的方式进行处理：

原始图像	随机裁剪 + 调整大小操作

随机擦除

随机擦除是一种用于提高模型对遮挡鲁棒性的技术。这在训练用于导航场景中目标检测的神经网络时可能会很有用。

原始图像[2]	随机擦除

有关使用方法，请参阅 Pipeline.random_erasing() 文档。

在流水线中串联操作

只需几个操作，就可以对单张图像进行增强，生成大量保留标签的新样本：

原始图像	扭曲 + 镜像翻转

在上面的例子中，我们应用了三个操作：首先随机扭曲图像，然后以50%的概率水平翻转，再以50%的概率垂直翻转。接着我们从这个流水线中采样100次，生成100个新的数据。

p.random_distortion(probability=1, grid_width=4, grid_height=4, magnitude=8)
p.flip_left_right(probability=0.5)
p.flip_top_bottom(probability=0.5)
p.sample(100)

教程笔记本

使用生成器与Keras集成

Augmentor可以替代Keras的增强功能。Augmentor能够根据你定义的流水线创建一个无限生成增强数据的生成器。详细信息请参阅以下笔记本：

• 从本地目录读取图像，在运行时对其进行增强，并使用生成器将增强后的图像流传递给Keras卷积神经网络，详见 Augmentor_Keras.ipynb
• 在内存中（以数组形式）增强数据，并使用生成器将这些新图像传递给Keras神经网络，详见 Augmentor_Keras_Array_Data.ipynb

按类别增强策略

Augmentor允许为每个类别定义不同的流水线。也就是说，对于给定的分类问题，你可以为每个类别单独定义不同的增强策略。

有关示例，请参阅以下Jupyter笔记本：Per_Class_Augmentation_Strategy.ipynb

完整示例

让我们对单张图片执行数据增强任务，展示 Augmentor 的工作流程及其多项功能。

首先导入该包，并通过指向包含图像的目录来初始化一个 Pipeline 对象：

import Augmentor

p = Augmentor.Pipeline("/home/user/augmentor_data_tests")

现在你可以开始向 pipeline 对象添加操作：

p.rotate90(probability=0.5)
p.rotate270(probability=0.5)
p.flip_left_right(probability=0.8)
p.flip_top_bottom(probability=0.3)
p.crop_random(probability=1, percentage_area=0.5)
p.resize(probability=1.0, width=120, height=120)

当你添加完所需的操作后，就可以从这个 pipeline 中采样生成图像：

p.sample(100)

一些示例输出：

输入图像[3]		增强后的图像
	→

例如，这些增强后的图像可能对边界检测任务很有用。

许可与致谢

Augmentor 根据 MIT 许可协议提供。详情请参阅 Licence.md。

[1] 棋盘格图像来自维基共享资源，属于公有领域： https://commons.wikimedia.org/wiki/File:Checkerboard_pattern.svg

[2] 街景图像属于公有领域： http://stokpic.com/project/italian-city-street-with-shoppers/

[3] 皮肤病变图像来自 ISIC 归档：

• 图像 ID = 5436e3abbae478396759f0cf
• 下载链接： https://isic-archive.com:443/api/v1/image/5436e3abbae478396759f0cf/download

你可以使用 urllib 获取该皮肤病变图像，以重现上述增强后的图像：

>>> from urllib import urlretrieve
>>> im_url = "https://isic-archive.com:443/api/v1/image/5436e3abbae478396759f0cf/download"
>>> urlretrieve(im_url, "ISIC_0000000.jpg")
('ISIC_0000000.jpg', <httplib.HTTPMessage instance at 0x7f7bd949a950>)

注意：对于 Python 3，请使用 from urllib.request import urlretrieve。

标志由 LogoMakr.com 创作。

测试

要运行自动化测试，请克隆仓库并执行以下命令：

$ py.test -v

在命令行中运行。如需查看每次提交后运行的持续集成测试，请访问 https://travis-ci.org/mdbloice/Augmentor。

Asciicast

点击下方预览，观看 Augmentor 使用的视频演示：

Augmentor 快速上手指南

Augmentor 是一个用于机器学习的 Python 图像增强库。它旨在成为一个独立、跨平台且框架无关的库，通过构建随机化的操作管道（Pipeline），帮助用户自动化生成人工数据以扩展数据集，特别适用于神经网络和深度学习任务。

环境准备

• 操作系统：跨平台支持（Windows, macOS, Linux）。
• Python 版本：支持 Python 2.7, 3.5, 3.6, 3.7, 3.8, 3.9。
• 前置依赖：需安装 pip 包管理工具。
• 国内加速建议：在中国大陆地区，建议使用清华或阿里镜像源加速安装过程。

安装步骤

使用 pip 从命令行进行安装。

标准安装：

pip install Augmentor

使用国内镜像源加速安装（推荐）：

pip install Augmentor -i https://pypi.tuna.tsinghua.edu.cn/simple

升级现有版本：

pip install Augmentor --upgrade

基本使用

Augmentor 的核心工作流程是创建一个管道（Pipeline），向其中添加一系列操作（如旋转、缩放等），然后执行该管道以生成增强后的图像。

1. 初始化管道

首先，实例化一个 Pipeline 对象，指向包含原始图像的目录。

import Augmentor

# 将 "/path/to/images" 替换为你的图片文件夹路径
p = Augmentor.Pipeline("/path/to/images")

2. 添加增强操作

向管道对象 p 中添加所需的操作。每个操作都需要指定一个 probability（概率），用于决定该操作是否应用于每张图像。

# 70% 的概率进行旋转，左旋最大 10 度，右旋最大 10 度
p.rotate(probability=0.7, max_left_rotation=10, max_right_rotation=10)

# 50% 的概率进行缩放，缩放因子在 1.1 到 1.5 之间
p.zoom(probability=0.5, min_factor=1.1, max_factor=1.5)

3. 生成增强数据

定义好管道后，调用 sample() 方法生成指定数量的增强图像。默认情况下，生成的图像会保存在初始化路径下的 output 文件夹中。

# 生成 10,000 张增强图像
p.sample(10000)

进阶提示

• 全量处理：如果你希望对目录中的每张图像确切地执行一次操作（例如统一调整大小），请使用 p.process() 方法，并将所有操作的概率设置为 1。
• 多线程加速：sample() 方法默认启用多线程以加快生成速度。如果处理极小图像时遇到性能下降，可设置 multi_threaded=False。
• 框架集成：如果不希望将图片保存到磁盘，Augmentor 还支持直接生成用于 Keras (keras_generator) 或 PyTorch (torch_transform) 的数据生成器。