nlpaug

这个 Python 库可帮助您为机器学习项目增强自然语言处理能力。请访问本介绍，了解有关【NLP 数据增强】的详细信息（NLP 数据增强）。其中，“Augmenter”是数据增强的基本单元，“Flow”则是一套管道，用于将多个增强器有机地组合在一起。

功能

• 无需人工操作，即可生成合成数据以提升模型性能
• 简单易用、轻量级的库；只需三行代码即可完成数据增强
• 可即插即用，轻松集成到各类机器学习/神经网络框架中（例如：scikit-learn、PyTorch、TensorFlow）
• 支持文本和音频输入

文本数据增强示例

声学数据增强示例

部分	说明
快速演示	如何使用本库
Augmenter	介绍所有可用的数据增强方法
安装	如何安装本库
最新变更	最新功能更新
扩展阅读	更多真实场景案例或相关研究
参考文档	外部资源（如数据或模型）的参考链接

快速演示

• 快速示例
• 文本输入数据增强示例
• 多语言文本输入数据增强示例
• 频谱图输入数据增强示例
• 音频输入数据增强示例
• 多增强器组合示例
• 展示增强历史记录示例
• 如何训练【TF-IDF 模型】（https://github.com/makcedward/nlpaug/blob/master/example/tfidf-train_model.ipynb）
• 如何训练【LAMBADA 模型】（https://github.com/makcedward/nlpaug/blob/master/example/lambada-train_model.ipynb）
• 如何创建【自定义增强】（https://github.com/makcedward/nlpaug/blob/master/example/custom_augmenter.ipynb）
• API 文档

增强

增强	目标	增强	操作	说明
文本类	字符	键盘增强	替换	模拟键盘距离误差
文本类		OCR增强	替换	模拟OCR引擎错误
文本类		随机增强	插入、替换、交换、删除	随机应用增强操作
文本类	单词	反义词增强	替换	根据WordNet反义词表，替换具有相反含义的单词
文本类		上下文词嵌入增强	插入、替换	将上下文中的单词输入到BERT、DistilBERT、RoBERTa或XLNet语言模型中，以找到最适合用于增强的单词
文本类		随机单词增强	交换、裁剪、删除	随机应用增强操作
文本类		拼写增强	替换	根据拼写错误词典替换单词
文本类		分割增强	分割	随机将一个单词拆分为两个单词
文本类		同义词增强	替换	根据WordNet/PPDB同义词表，替换相似的单词
文本类		TF-IDF增强	插入、替换	利用TF-IDF算法，确定应如何对单词进行增强
文本类		词嵌入增强	插入、替换	利用word2vec、GloVe或fasttext的词嵌入，实现增强操作
文本类		反向翻译增强	替换	利用两种翻译模型进行增强
文本类		保留词增强	替换	替换保留词
文本类	句子	句子上下文词嵌入增强	插入	根据XLNet、GPT2或DistilGPT2的预测结果，插入句子
文本类		摘要总结增强	替换	通过摘要式总结方法，对文章进行摘要
文本类		Lambada增强	替换	使用语言模型生成文本，并借助分类模型，保留高质量的结果
信号类	音频	裁剪增强	删除	删除音频的特定片段
信号类		声音强度增强	替换	调整音频的音量
信号类		指定区域增强	替换	对音频的指定区域进行屏蔽
信号类		噪音增强	替换	注入噪声
信号类		音高增强	替换	调整音频的音高
信号类		时间偏移增强	替换	向前或向后调整时间维度
信号类		速度增强	替换	调整音频的速度
信号类		声音特性增强	替换	改变发声声道
信号类		归一化增强	替换	对音频进行归一化处理
信号类		极性反转增强	替换	将音频的正负极性互换
信号类	频谱图	频率掩码增强	替换	根据频率维度，将某一范围的值设置为零
信号类		时间掩码增强	替换	根据时间维度，将某一范围的值设置为零
信号类		声音强度增强	替换	调整音量

流程

增强器	增强器	说明
管道式	顺序执行	依次应用一系列增强函数
管道式	有时	随机应用部分增强函数

安装

该库支持Linux和Windows平台上的Python 3.5及以上版本。

要安装该库：

pip install numpy requests nlpaug

或者直接从GitHub安装最新版本（包含BETA功能）：

pip install numpy git+https://github.com/makcedward/nlpaug.git

或者使用Conda进行安装：

conda install -c makcedward nlpaug

若使用BackTranslationAug、ContextualWordEmbsAug、ContextualWordEmbsForSentenceAug以及AbstSummAug，则还需安装以下依赖项：

pip install torch>=1.6.0 transformers>=4.11.3 sentencepiece

若使用LambadaAug，则需安装以下依赖项：

pip install simpletransformers>=0.61.10

若使用AntonymAug、SynonymAug，则还需安装以下依赖项：

pip install nltk>=3.4.5

若使用WordEmbsAug（如word2vec、glove或fasttext），请先下载预训练模型，并同时安装以下依赖项：

from nlpaug.util.file.download import DownloadUtil
DownloadUtil.download_word2vec(dest_dir='.') # 下载word2vec模型
DownloadUtil.download_glove(model_name='glove.6B', dest_dir='.') # 下载GloVe模型
DownloadUtil.download_fasttext(model_name='wiki-news-300d-1M', dest_dir='.') # 下载fasttext模型

pip install gensim>=4.1.2

若使用SynonymAug（PPDB），请从以下网址下载文件。如果您从其他网站获取PPDB文件，可能无法正常运行该增强器。

http://paraphrase.org/#/download

若使用PitchAug、SpeedAug和VtlpAug，则需安装以下依赖项：

pip install librosa>=0.9.1 matplotlib

最近更新

2022年7月6日，版本1.1.11

• 返回输出列表
• 修复下载工具
• 修复lambda标签对齐问题
• 添加SynonymAug的语言包参考链接

更多详细信息，请参阅变更记录。

扩展阅读

• 适用于文本的数据增强库
• 你的NLP模型能有效防止对抗攻击吗？
• 数据噪声如何帮助提升你的NLP模型性能？
• 适用于语音识别的数据增强库
• 适用于音频的数据增强库
• 无监督数据增强
• NLP领域数据增强的视觉综述

参考文献

本库采用多种数据来源（例如从互联网抓取数据）、研究方法（例如遵循增强学习理念）以及模型技术（例如利用预训练模型）。更多详细信息，请参阅数据源。

引用格式

@misc{ma2019nlpaug,
  title={NLP 增强},
  author={Edward Ma},
  howpublished={https://github.com/makcedward/nlpaug},
  year={2019}
}

该包已被众多书籍、研讨会及学术研究论文引用，数量超过70篇。以下是一些示例，您还可以访问此处以获取完整列表。

被引用的与 NLP 增强相关的研讨会

• S. Vajjala. 无需现成标签数据集的 NLP——于 2021 年在多伦多机器学习峰会举行。2021 年

被引用的与 NLP 增强相关的书籍

• S. Vajjala、B. Majumder、A. Gupta 和 H. Surana. 实用自然语言处理：构建真实世界 NLP 系统的全面指南。2020 年
• A. Bartoli 和 A. Fusiello. 计算机视觉——ECCV 2020 研讨会。2020 年
• L. Werra、L. Tunstall 和 T. Wolf 使用 Transformer 的自然语言处理。2022 年

被引用的与 NLP 增强相关的研究论文

• Google：M. Raghu 和 E. Schmidt. 深度学习在科学发现中的应用综述。2020 年
• Sirius XM：E. Jing、K. Schneck、D. Egan 和 S. A. Waterman. 从自动生成的转录文本中识别播客节目中的开场白。2021 年
• Salesforce 研究：B. Newman、P. K. Choubey 和 N. Rajani. P-适配器：通过多样化的提示，从语言模型中稳健地提取事实性信息。2021 年
• Salesforce 研究：L. Xue、M. Gao、Z. Chen、C. Xiong 和 R. Xu. 通过形式攻击评估基于 Transformer 的表单字段提取器的鲁棒性。2021 年

贡献者

sakares saengkaew

Binoy Dalal

Emrecan Çelik

nlpaug 中文快速上手指南

环境准备

• 系统：Linux / Windows，Python ≥ 3.5
• 可选依赖：
  • 文本增强（BERT、回译等）：torch ≥ 1.6.0、transformers ≥ 4.11.3、sentencepiece
  • 词向量：gensim ≥ 4.1.2
  • 音频增强：librosa ≥ 0.9.1、matplotlib
  • 同义词/反义词：nltk ≥ 3.4.5

安装步骤

# 1. 基础安装
pip install numpy requests nlpaug -i https://pypi.tuna.tsinghua.edu.cn/simple

# 2. 如需最新版（含 Beta 功能）
pip install numpy git+https://github.com/makcedward/nlpaug.git

# 3. 文本增强扩展
pip install torch>=1.6.0 transformers>=4.11.3 sentencepiece -i https://pypi.tuna.tsinghua.edu.cn/simple

# 4. 音频增强扩展
pip install librosa>=0.9.1 matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

import nlpaug.augmenter.word as naw

# 1. 同义词替换（3 行代码完成数据增强）
aug = naw.SynonymAug(aug_src='wordnet')
text = "今天天气真好，我们一起去公园散步吧。"
print(aug.augment(text))
# 输出示例：今天天气真好，我们一起去公园溜达吧。

# 2. 回译增强（中→英→中）
from nlpaug.augmenter.word import BackTranslationAug
bt_aug = BackTranslationAug(
    from_model_name='Helsinki-NLP/opus-mt-zh-en',
    to_model_name='Helsinki-NLP/opus-mt-en-zh'
)
print(bt_aug.augment("今天天气真好"))
# 输出示例：今天天气不错

完成！现在你可以将增强后的数据直接用于任何机器学习框架（PyTorch、TensorFlow、scikit-learn 等）。