NLPIA

由社区驱动的代码，用于书籍《Natural Language Processing in Action》（见：http://bit.ly/gh-readme-nlpia-book）。

描述

这是一本由社区共同编写的书籍，内容关于构建具有社会责任感的自然语言处理流水线，使其能够回馈所服务的社区。

入门指南

你需要在你的机器上有一个 bash shell。 Git 提供了包含 bash shell 的安装程序，适用于所有主流操作系统。

安装好 Git 后，打开一个 bash 终端。 通常它会以 git-bash 的名称出现在你的应用程序列表中。

第一步：安装 Anaconda3

• Linux
• MacOSX
• Windows

如果你使用图形界面安装 Anaconda3，请确保勾选更新 PATH 环境变量的选项。 另外，在安装结束时，Anaconda3 安装程序会询问你是否要安装 VSCode。 Microsoft 的 VSCode 是一款不错的 Python 编辑器和 linter，不过为了启用所有 lint 功能，你需要将数据发送给 Microsoft。

有些人更喜欢 Sublime Text 3，而不是 Atom 和 VSCode 等开源 IDE。在 Sublime 中，即使离线模式下，你也可以免费获得完整的 lint、拼写检查和自动缩进功能，且不会发生数据窃取或强制接受 EULA 的情况。

第二步：安装编辑器

如果你对使用 jupyter notebook、VSCode 或者 Anaconda 自带的 Spyder 感到满意，可以跳过此步骤。

我喜欢 Sublime Text。 相比其他选择，它更加简洁成熟。 而且拥有更多由像你一样的个人开发者编写的插件。

第三步：安装 Git 和 Bash

• Linux — 已经安装
• MacOSX — 已经安装
• Windows

如果你使用的是 Linux 或 macOS，则可以直接进入下一步。只需学会如何启动终端，并确保可以在其中运行 ipython 或 jupyter notebook。这里是你用来实践自己的 NLP 流水线的地方。

Windows

在 Windows 上，你需要做更多的准备工作。据说 Windows 10 可以让你安装带有终端和 bash 的 Ubuntu。但随 git 一起提供的终端和 shell 可能更为安全可靠，因为它由更广泛的开源社区维护。

你需要确保你的 PATH 环境变量中包含了指向 conda、python 以及其他由 Anaconda 安装的命令行工具的路径。可以通过以下方式设置：

echo "PATH=$HOME/Anaconda3/bin:$PATH" >> ~/.bashrc

或者

echo "PATH=/c/Users/$USER/AppData/Local/Continuum/Anaconda3/:$PATH" >> ~/.bashrc

此外，你需要确保新的 MINGW64 终端通过 winpty 启动，以便欺骗 Windows 将 MINGW64 终端（即 git-bash）识别为符合标准的 TTY 终端应用。因此，在 git-bash 终端中将以下别名添加到你的 ~/.bashrc 文件中：

echo "alias python='winpty python'" >> ~/.bashrc
echo "alias jupyter='winpty jupyter'" >> ~/.bashrc
echo "alias ipython='winpty ipython'" >> ~/.bashrc

第四步：克隆本仓库

git clone https://github.com/totalgood/nlpia.git

第5步：安装 nlpia

您有两种可选的包管理器来安装 nlpia：

5.1. conda 5.2. pip

一位热心的 NLPIA 读者 Hoang Chung Hien 创建了一个 Dockerfile，您可以使用它作为管理环境的第三种方式：

5.3. docker

在大多数情况下，conda 比 pip 能更快、更可靠地安装 Python 包。如果没有 conda，某些包（例如 python-levenshtein）在安装时需要编译 C 库。而 Windows 系统本身并不自带编译器和能够“开箱即用”的 Python 包安装工具。

替代方案 5.1：conda

使用您在上述第 1 步中安装的 Anaconda3 中的 conda，创建一个名为 nlpiaenv 的环境：

cd nlpia  # 确保您位于包含 `setup.py` 的 nlpia 目录下
conda env create -n nlpiaenv -f conda/environment.yml
conda install -y pip  # 获取最新版本的 pip
conda activate nlpiaenv
pip install -e .

每当您需要导入或运行任何 nlpia 模块时，都需要先激活这个 conda 环境：

$ conda activate nlpiaenv

在 Windows 的 CMD 提示符（应用程序中的 Anaconda Prompt）中没有 source 命令，因此：

C:\ activate nlpiaenv

现在请确保可以成功导入 nlpia：

python -c "import nlpia; print(nlpia)"

如果您已成功创建并激活包含 nlpia 包及其依赖项的环境，请直接跳至第 6 步（“尽情享受吧！”）。

替代方案 5.2：pip

如果您运气不错，可以先尝试以下方法：

cd nlpia
pip install --upgrade pip
pip install -e .

或者，如果您不打算编辑 nlpia 的源代码，也不希望为社区做出贡献，可以直接运行：

pip install nlpia

基于 Linux 的操作系统（如 Ubuntu）和 macOS 自带 C++ 编译器，因此您可能可以使用 pip 而不是 conda 来安装依赖项。 但如果您使用的是 Windows，并且想要安装像 python-levenshtein 这样需要编译 C++ 库的包，则必须配备编译器。 幸运的是，微软仍然允许您 免费下载编译器，只需确保您下载的是 Visual Studio “构建工具”，而不是完整的 Visual Studio 安装包。

一旦您拥有了 C/C++ 编译器和 Python 源代码文件，就可以使用 pip 安装 nlpia：

cd nlpia  # 确保您位于包含 `setup.py` 的 nlpia 目录下
pip install --upgrade pip
mkvirtualenv nlpiaenv
source nlpiaenv/bin/activate
pip install -r requirements-test.txt
pip install -e .
pip install -r requirements-deep.txt

由于 pycrypto 的安装问题，nlpia 自带的聊天机器人（包括 TTS 和 STT 音频驱动程序）可能无法在 Windows 上正常运行。 如果您使用的是 Linux 或 Darwin（macOS）系统，或者愿意帮助我们调试 pycrypto 问题，可以尝试安装聊天机器人的相关依赖：

# pip install -r requirements-chat.txt
# pip install -r requirements-voice.txt

替代方案 5.3：docker

5.3.1：构建您的镜像

下载 Jupyter Docker 镜像可能需要几分钟时间：

docker build -t nlpia .

5.3.2：运行您的镜像

• docker run -p 8888:8888 nlpia
• 复制运行日志中获取的 token
• 打开浏览器，访问链接 http://localhost:8888/?token=...

5.3.3：开始使用

如果您希望保留笔记本文件或将文件夹共享给正在运行的容器，可以使用以下命令：

docker run -p 8888:8888 -v ~:/home/jovyan/work nlpia

然后打开一个新的笔记本并测试您的代码。请务必将文件保存到 work 目录下，以便在容器外部也能访问。

6. 享受乐趣！

查看本书在 nlpia/nlpia/book/examples 中的代码示例，获取灵感：

cd nlpia/book/examples
ls

通过贡献你的代码和知识，帮助其他自然语言处理从业者。

以下是一些其他可能觉得有用的 nlpia 功能想法。请将你的想法提交到 https://github.com/totalgood/nlpia/issues 。

6.1. 功能 1：术语表编译器

可以添加到 https://github.com/totalgood/nlpia/blob/master/src/nlpia/transcoders.py:`transcoders.py` 模块中的框架代码和 API。

def find_acronym(text):
    """在句子中查找括号内的名词短语，并以字符串对的形式返回首字母缩略词/缩写/术语。

    >>> find_acronym('支持向量机（SVM）是一个很好的工具。')
    ('SVM', '支持向量机')
    """
    return (abbreviation, noun_phrase)

def glossary_from_dict(dict, format='asciidoc'):
    """给定一个单词/首字母缩略词: 定义的字典，以 ASCIIDOC 格式生成术语表字符串"""
    return text

def glossary_from_file(path, format='asciidoc'):
    """给定一个 ASCIIDOC 文件路径，以 ASCIIDOC 格式生成术语表字符串"""
    return text

def glossary_from_dir(path, format='asciidoc'):
    """给定一个包含 ASCIIDOC 文件的目录路径，以 ASCIIDOC 格式生成术语表字符串"""
    return text

6.2. 功能 2：语义搜索

使用解析器从类似《自然语言处理实战》的 ASCIIDOC 书籍的行或句子列表中提取纯自然语言句子以及标题/小标题。利用 https://github.com/totalgood/nlpia/blob/master/src/nlpia/transcoders.py:[nlpia.transcoders] 中的句子分割器，将像 NLPIA 这样的书籍拆分成一系列句子。

6.3. 功能 3：语义频谱图

一串词向量或主题向量可以组成一个二维数组或矩阵，进而以图像形式展示出来。我使用了 word2vec (nlpia.loaders.get_data('word2vec')) 对 NLPIA 第一章最后四段的文字进行嵌入，结果生成的频谱图比预期要嘈杂得多。尽管如此，其中仍能清晰地看到一些意义的条纹和斑块。

首先，导入必要的库：

>>> from nlpia.loaders import get_data
>>> from nltk.tokenize import casual_tokenize
>>> from matplotlib import pyplot as plt
>>> import seaborn

先获取原始文本并进行分词：

>>> lines = get_data('ch1_conclusion')
>>> txt = "\n".join(lines)
>>> tokens = casual_tokenize(txt)
>>> tokens[-10:]
['你',
 '实现',
 '你的',
 '目标',
 '在',
 '商业',
 '和',
 '在',
 '生活',
 '中',
 '.']

然后需要下载一个词向量模型，比如 word2vec：

>>> wv = get_data('w2v')  # 这可能需要几分钟
>>> wordvectors = np.array([wv[tok] for tok in tokens if tok in wv])
>>> wordvectors.shape
(307, 300)

现在你可以显示你的 307×300 的频谱图或“词图”：

>>> plt.imshow(wordvectors)
>>> plt.show()

你能想到哪些图像处理或深度学习算法可以应用于自然语言文本的图像吗？

一旦掌握了词向量技术，你就可以尝试使用 Google 的通用句子编码器，为整本书创建频谱图。

6.4. 功能 4：构建你自己的序列到序列翻译器

如果你有双语的句子或词汇对，就可以构建一个序列到序列的翻译器。你甚至可以像小学时学猪语那样设计一门自己的语言，或者打造一个 L337 翻译器。

又或者，你可以使用 dfs = [get_data(lang) for lang in nlpia.loaders.ANKI_LANGUAGES] 创建一个通用句子嵌入，然后逐个用这些翻译对替换第 10 章中的电影角色聊天机器人数据集。每次针对新语言都从全新的解码器开始。这样你就能拥有一个独立的解码器，用于翻译成任何语言。同时尽量复用编码器，最终得到一个用于编码英语句子的通用思想向量。这将类似于 Google 的通用句子编码，但你的版本是基于字符的，因此能够处理拼写错误的英语单词。

其他想法

NLPIA 书末的“资源”部分还提到了许多其他的项目创意。这里是该资源列表的早期草稿 链接。

NLPIA 快速上手指南

NLPIA 是开源书籍《Natural Language Processing in Action》的配套代码库，提供构建负责任的自然语言处理（NLP）流水线所需的社区驱动工具。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux、macOS 或 Windows。
• Shell 环境：需要 Bash shell。
  • Linux/macOS：系统自带终端即可。
  • Windows：推荐安装 Git for Windows，它包含 git-bash。
• Python 发行版：推荐安装 Anaconda3，因为它预装了大多数科学计算依赖。
  • 注意：安装时请勾选"Add Anaconda to my PATH environment variable"（将 Anaconda 添加到环境变量）。
• 编辑器（可选）：可使用 Jupyter Notebook、VSCode、Spyder 或 Sublime Text。

安装步骤

推荐使用 Conda 进行安装，因为它能更好地处理如 python-levenshtein 等需要编译 C 库的依赖，尤其是在 Windows 上。

第一步：克隆仓库

打开终端（Windows 用户使用 git-bash），运行以下命令获取源码：

git clone https://github.com/totalgood/nlpia.git
cd nlpia

第二步：创建并激活环境

使用 Conda 创建名为 nlpiaenv 的虚拟环境并安装依赖：

# 创建环境
conda env create -n nlpiaenv -f conda/environment.yml

# 激活环境
# Linux/macOS:
conda activate nlpiaenv
# Windows (CMD 或 Anaconda Prompt):
activate nlpiaenv

第三步：安装 NLPIA 包

在激活的环境中，以可编辑模式安装本地包：

# 确保 pip 为最新版本
conda install -y pip

# 安装 nlpia
pip install -e .

替代方案 (Pip)：如果你不使用 Conda 且系统已配备 C++ 编译器（Linux/macOS 通常自带，Windows 需单独安装 Build Tools），可直接运行 pip install nlpia，但可能会遇到编译错误。

验证安装

运行以下命令检查是否安装成功：

python -c "import nlpia; print('NLPIA installed successfully')"

基本使用

安装完成后，你可以加载书中示例数据或尝试基础的 NLP 功能。

示例：生成语义频谱图 (Semantic Spectrogram)

以下代码演示了如何加载文本、分词、获取词向量并可视化：

from nlpia.loaders import get_data
from nltk.tokenize import casual_tokenize
from matplotlib import pyplot as plt
import seaborn
import numpy as np

# 1. 获取示例文本并分词
lines = get_data('ch1_conclusion')
txt = "\n".join(lines)
tokens = casual_tokenize(txt)

# 2. 下载并加载词向量模型 (首次运行需几分钟)
wv = get_data('w2v')

# 3. 将 tokens 转换为向量矩阵
wordvectors = np.array([wv[tok] for tok in tokens if tok in wv])

# 4. 绘制频谱图
plt.imshow(wordvectors)
plt.show()

探索更多示例

你可以查看仓库中提供的书籍代码示例以获得更多灵感：

cd nlpia/book/examples
ls

现在你可以开始构建自己的 NLP 流水线了！