---

AugLy是一个数据增强库，目前支持四种模态（音频、图像、文本和视频），并提供超过100种增强方法。每种模态的增强方法都包含在其各自的子库中。这些子库既包括基于函数的变换，也包括基于类的变换，还提供了组合算子，并且可以选择性地记录所应用变换的相关元数据，包括其强度。

AugLy非常适合用于在模型训练中对数据进行增强，或评估模型的鲁棒性差距！我们设计AugLy时，特意纳入了许多用户在Facebook等互联网平台上实际会执行的特定数据增强操作——例如将图片制作成表情包，在图片或视频上叠加文字/表情符号，或者转发社交媒体上的截图。尽管AugLy也包含一些更通用的数据增强方法，但如果你正在处理诸如抄袭检测、仇恨言论检测或版权侵权等问题，而这些问题中经常出现这类“互联网用户”风格的数据增强操作，那么AugLy将对你尤为有用。

要查看更多的增强示例，请打开各模态README文件中的Colab笔记本！（例如图像README及Colab）

该库基于Python开发，需要至少Python 3.6，因为我们使用了dataclasses。

作者

Joanna Bitton — Meta AI软件工程师

Zoe Papakipos — Meta AI软件工程师

安装

AugLy是一个Python 3.6及以上版本的库。可以通过以下命令安装：

pip install augly[all]

如果你想只安装某个子库所需的依赖，比如音频，可以这样安装：

pip install augly[audio]

或者，如果你想运行我们的单元测试、提交拉取请求等，可以直接克隆AugLy代码库：

git clone git@github.com:facebookresearch/AugLy.git && cd AugLy
[可选，但推荐] conda create -n augly && conda activate augly && conda install pip
pip install -e .[all]

向后兼容性说明：在augly<=0.2.1版本中，我们并未按模态分离依赖项。对于这些版本，若要安装大多数依赖，可以使用pip install augly；如果需要使用音频或视频模态，则需使用pip install augly[av]。

在某些环境中，pip可能无法正常安装python-magic。在这种情况下，你需要额外执行以下命令：

conda install -c conda-forge python-magic

或者，如果你不使用conda：

sudo apt-get install python3-magic

文档

请访问我们在ReadtheDocs上的文档！

有关如何使用各个子库、如何运行测试以及包含可运行示例的Colab笔记本链接的更多详细信息，请参阅各自目录下的README文件（音频、图像、文本和视频）。

资源

我们为部分增强方法提供了多种媒体资源。这些资源包括：

1. 表情符号（Twemoji）— 版权归2020年Twitter公司及其他贡献者所有。代码采用MIT许可证授权，图形则采用CC-BY 4.0许可证授权。
2. 字体（Noto字体）— Noto是Google公司的商标。Noto字体为开源字体。所有Noto字体均依据SIL开放字体许可证1.1版发布。
3. 截图模板— 这些图像是Facebook的一位设计师专门为AugLy设计的。你可以在图像和视频库中的overlay_onto_screenshot增强方法中使用它们，使你的源图像或视频看起来像是从类似Facebook或Instagram的社交媒体动态中截取的。

链接

1. Facebook AI博客文章：https://ai.facebook.com/blog/augly-a-new-data-augmentation-library-to-help-build-more-robust-ai-models/
2. PyPi软件包：https://pypi.org/project/augly/
3. Arxiv论文：https://arxiv.org/abs/2201.06494
4. 示例代码：https://github.com/facebookresearch/AugLy/tree/main/examples

AugLy的实际应用

1. 图像相似性挑战 — 由Facebook AI主办的NeurIPS 2021竞赛，奖金高达20万美元，目前仍在接受报名；同时，该挑战还生成了DISC21数据集，将在挑战结束后公开发布！
2. DeepFake检测挑战 — 由Facebook AI于2020年举办的Kaggle竞赛，奖金达100万美元；同时还创建了DFDC数据集。
3. SimSearchNet — Facebook AI开发的一款近似重复内容检测模型，用于识别我们平台上的侵权内容。

引用

如果你在工作中使用了AugLy，请按照以下格式引用我们的Arxiv论文：

@misc{papakipos2022augly,
  author        = {Zoe Papakipos and Joanna Bitton},
  title         = {AugLy: Data Augmentations for Robustness},
  year          = {2022},
  eprint        = {2201.06494},
  archivePrefix = {arXiv},
  primaryClass  = {cs.AI}}
}

许可证

AugLy 采用 MIT 许可证，详情请参阅 LICENSE 文件。请注意，AugLy 所使用的部分依赖项可能采用不同的许可证条款。

AugLy 快速上手指南

AugLy 是由 Meta AI 开源的数据增强库，支持音频、图像、文本和视频四种模态，提供超过 100 种增强方法。它特别擅长模拟真实互联网场景（如制作表情包、添加水印/表情、社交媒体截图等），适用于提升模型鲁棒性、版权检测及仇恨言论识别等任务。

环境准备

• 操作系统：Linux, macOS, Windows
• Python 版本：Python 3.6 或更高版本（依赖 dataclasses 特性）
• 前置依赖：
  • pip 包管理工具
  • 若在某些环境中 pip 无法自动安装 python-magic，需手动安装系统级依赖：
    • Conda 用户：conda install -c conda-forge python-magic
    • Ubuntu/Debian 用户：sudo apt-get install python3-magic

国内加速建议：安装时推荐使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

安装步骤

方式一：安装完整功能（推荐）

安装所有模态（音频、图像、文本、视频）所需的依赖：

pip install augly[all]

使用国内镜像源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple augly[all]

方式二：按需安装特定模态

如果只需使用特定功能（例如仅处理音频），可减小安装包体积：

pip install augly[audio]
# 或者仅安装图像模块
pip install augly[image]

方式三：源码安装（适合贡献者）

如需运行单元测试或参与贡献：

git clone git@github.com:facebookresearch/AugLy.git && cd AugLy
[可选但推荐] conda create -n augly && conda activate augly && conda install pip
pip install -e .[all]

基本使用

AugLy 按模态划分子库，以下以图像增强为例展示最基础的用法。

1. 导入库与加载图像

import augly.image as imgaug
from PIL import Image

# 加载图片
image = Image.open("input.jpg")

2. 应用增强变换

调用具体的增强函数（例如：将图片转换为表情包风格，或叠加截图效果）：

# 示例：模拟社交媒体截图效果
augmented_image = imgaug.overlay_onto_screenshot(image)

# 示例：添加随机表情符号
augmented_image = imgaug.overlay_emoji(image)

3. 保存结果

augmented_image.save("output_augmented.jpg")

获取增强元数据

部分函数支持返回增强过程的元数据（如强度参数）：

augmented_image, metadata = imgaug.overlay_emoji(image, return_metadata=True)
print(metadata)

提示：音频、文本和视频的使用方式类似，只需分别导入 augly.audio, augly.text, 或 augly.video 即可。更多详细示例请参考官方 Colab Notebook 或各模态目录下的 README。