使用 spaCy 的高级自然语言处理：免费在线课程

此仓库包含一个在线课程，以及其现代化的开源Web框架。在课程中，您将学习如何使用spaCy构建先进的自然语言理解系统，同时采用基于规则和机器学习的方法。前端由Gatsby、Reveal.js和Plyr提供支持，后端代码执行则借助Binder实现 💖。整个项目均为开源，并以MIT许可证（代码和框架）及CC BY-NC协议（spaCy课程材料）发布。

本课程主要面向自学者。是的，您可以“作弊”——所有答案都包含在这个仓库中，点击“显示提示”或“显示答案”并不会受到任何惩罚，当您认为某个练习已完成时，也可以将其标记为已完成。

💬 语言与翻译

语言	文本示例1	来源	作者
英语	英语	chapters/en, exercises/en	@ines
德语	德语	chapters/de, exercises/de	@ines, @Jette16
西班牙语	西班牙语	chapters/es, exercises/es	@mariacamilagl, @damian-romero
法语	法语	chapters/fr, exercises/fr	@datakime
日语	日语	chapters/ja, exercises/ja	@tamuhey, @hiroshi-matsuda-rit, @icoxfog417, @akirakubo, @forest1988, @ao9mame, @matsurih, @HiromuHota, @mei28, @polm
中文	中文	chapters/zh, exercises/zh	@crownpku
葡萄牙语	英语	chapters/pt, exercises/pt	@Cristianasp

如果您发现任何错误，欢迎随时提交 pull requests！

1. 这是指练习中使用的文本示例和资源所采用的语言。例如，德语版课程也会使用德语文本示例和模型。由于并非所有代码示例都能翻译，因此部分翻译版本在课程中仍会使用并分析英语文本。

相关资源

• 📚 更喜欢笔记本？ 请查看由 @cristianasp 整理的 Jupyter 笔记本版本 的本课程。

💁 常见问题解答

这是否与 DataCamp 上的 spaCy 课程相关？

我最初是为 DataCamp 开发这些内容的，但我想制作一个免费版本，以便让更多人使用，这样大家就不必注册他们的服务了。作为一个周末项目，我最终搭建了一个自己的小应用，以有趣且互动的方式呈现练习和内容。

我可以用这个来构建自己的课程吗？

大概可以！如果你一直在寻找一种自助式的方式来发布你的学习材料，我希望我的这个小框架能对你有所帮助。由于很多人对此表现出兴趣，我整理了一些入门仓库，你可以直接 fork 并进行调整：

• 🐍 Python：ines/course-starter-python
• 🇷 R：ines/course-starter-r

为什么有不同的许可证？

用于构建交互式课程的应用程序源代码、UI 组件以及 Gatsby 框架采用 MIT 许可证，这与我几乎所有开源软件的许可证一致。而课程本身的材料（幻灯片和章节）则采用 CC BY-NC 许可证。这意味着你可以自由使用这些材料，但不能从中获利。

我想帮助将这门课程翻译成我的语言。我该如何贡献？

首先，非常感谢你！这对社区来说真的太棒了，也非常有价值 🙌 我尽量让课程结构便于添加多种语言：特定语言的文件分别放在 exercises 和 chapters 目录中，其他语言相关的文本则存储在 locale.json 文件中。如果你想参与贡献，有两种方式：

1. 发起一个社区翻译项目。这是最简单、没有任何附加条件的方式。你可以 fork 这个仓库，复制粘贴英文版本，更改 语言代码，开始翻译，并邀请其他人一起参与（如果你愿意的话）。如果你正在寻找合作者，欢迎在这里开一个 issue，或者在 Twitter 上标记 @spacy_io，我们会帮忙宣传。我们也很乐意在 issue tracker 中回答你的问题。

2. 向我们提出报价。我们愿意委托不同语言的翻译工作，所以如果你感兴趣，请发送邮件至 contact@explosion.ai，并附上你的报价、预计时间安排，以及关于你个人背景的一些信息（如果有过往的技术写作或翻译经验也请一并提供）。无论你身处何地，只要你能够以自由职业者或其他类似身份开具发票即可。

我想帮助为现有翻译版本制作音频/视频教程。我该如何参与？

再次感谢你，这真是太酷了！虽然 英语 和 德语 视频都包含了画面录制，但这并不是必需的，我们也很乐意只提供音频轨道配合幻灯片使用。后期处理和视频剪辑由我们负责，因此你只需要提供音频录音即可。如果你觉得自己能够用母语朗读幻灯片上的文字说明，请发送邮件至 contact@explosion.ai，并向我们提出报价，同时附上一些关于你个人及以往类似工作的信息（如果有的话）。

🎛 使用与 API

运行应用

要启动本地开发服务器，你需要先安装 Gatsby，然后再安装所有其他依赖项，最后运行 npm run dev 即可启动开发服务器。请确保你已安装 Node 10.15 或更高版本。

npm install -g gatsby-cli  # 全局安装 Gatsby
npm install                # 安装依赖项
npm run dev                # 启动开发服务器

如果你使用 Docker 运行，只需执行 make build，然后运行 make gatsby-dev 即可。

工作原理

在构建站点时，Gatsby 会查找 .py 文件，并将其内容通过 GraphQL 提供给查询。这样我们就可以在应用中直接使用原始代码。在底层，该应用使用 Binder 来提供一个包含包依赖项（包括 spaCy 模型）的镜像。通过调用 JupyterLab，我们可以使用当前内核执行代码。这使得用户可以在浏览器中编辑代码并实时查看结果。有关实现的更多细节，请参阅我的 juniper 仓库。

为了在用户点击“提交”时验证代码，我目前采用了一个略显 hack 的技巧。由于 Python 代码以字符串形式发送回内核，我们可以对其进行操作并添加测试——例如，练习 exc_01_02_01.py 将使用 test_01_02_01.py 进行验证（如果存在）。用户代码和测试将通过字符串模板合并在一起。目前，meta.json 中的 testTemplate 如下所示：

from wasabi import msg
__msg__ = msg
__solution__ = """${solution}"""
${solution}

${test}
try:
    test()
except AssertionError as e:
    __msg__.fail(e)

如果存在 ${solution}，它将被替换为用户提交代码的字符串值。在这种情况下，我们将它插入两次：一次作为字符串，以便检查提交是否包含任何内容；另一次作为代码，以便实际运行并检查其创建的对象。${test} 则会被测试文件的内容替换。我还把 wasabi 的打印工具作为 __msg__ 提供，这样我们就可以在测试中轻松地输出美观的消息。最后，try/except 块会检查测试函数是否抛出 AssertionError，如果是，则显示错误信息。这样做还可以隐藏完整的错误堆栈跟踪（这可能会轻易泄露正确答案）。

一个测试文件可能如下所示：

def test():
    assert "spacy.load" in __solution__, "你是否调用了 spacy.load？"
    assert nlp.meta["lang"] == "en", "你是否加载了正确的模型？"
    assert nlp.meta["name"] == "core_web_sm", "你是否加载了正确的模型？"
    assert "nlp(text)" in __solution__, "你是否正确地处理了文本？"
    assert "print(doc.text)" in __solution__, "你是否打印了 Doc 的文本？"

    __msg__.good(
        "做得好！现在你已经练习了加载模型，接下来让我们看看它们的一些预测吧。"
    )

采用这种方法，并不能总是完美地验证输入——因为选项太多，而且我们希望避免误报。

运行自动化测试

自动化测试确保提供的解决方案代码与用于验证提交的测试文件兼容。测试套件由 pytest 框架驱动，在测试会话开始前，会在 __tests__ 目录中自动生成可运行的测试文件。有关实现细节，请参阅 conftest.py。

# 安装依赖
pip install -r binder/requirements.txt
# 运行测试（会自动生成文件）
python -m pytest __tests__

如果使用 Docker 运行，只需执行 make build，然后运行 make pytest 即可。

目录结构

├── binder
|   └── requirements.txt  # Binder 所需的 Python 依赖项
├── chapters              # 按语言分组的章节
|   ├── en                # 英文章节，每种语言一个 Markdown 文件
|   |   └── slides        # 英文幻灯片，每场演示一个 Markdown 文件
|   └── ...               # 其他语言
├── exercises             # 练习的代码文件、测试和资源
|   ├── en                # 英文练习、解答、测试和数据
|   └── ...               # 其他语言
├── public                # 编译后的站点
├── src                   # Gatsby/React 源代码，与内容无关
├── static                # 静态资源，如图片，可在幻灯片和章节中使用
├── locale.json           # 元数据和 UI 文本的翻译
├── meta.json             # 课程元数据
└── theme.sass            # UI 主题颜色和设置

设置 Binder

仓库中的 requirements.txt 定义了使用 Binder 构建时要安装的包。对于本课程，我将源仓库用作 Binder 仓库，这样可以将所有内容集中在一个地方。这也使得练习能够引用和加载其他文件（例如 JSON），这些文件会被复制到 Python 环境中。不过，我是在 binder 分支上构建 Binder 的，只有当与 Binder 相关的文件发生变化时才会更新该分支。否则，每次对 master 分支的更新都会触发镜像的重新构建。

您可以在 meta.json 的 "juniper" 部分指定 Binder 的设置，如仓库、分支和内核类型。我建议首次构建时通过 Binder 官网 上的界面进行操作，这样可以获得详细的构建日志以及关于一切是否按预期工作的反馈。输入您的仓库 URL，点击“启动”，然后等待依赖项安装完毕并完成镜像构建。

文件格式

章节

章节位于 /chapters 目录中，是包含 <exercise> 组件的 Markdown 文件。它们将被转换为页面，例如 /chapter1。在文件顶部的 frontmatter 区域，需要指定 type: chapter 以及以下元数据：

---
title: 章节标题
description: 章节描述
prev: /chapter1 # 上一章的精确路径，或 null 表示不显示链接
next: /chapter3 # 下一章的精确路径，或 null 表示不显示链接
id: 2 # 章节的唯一标识符
type: chapter # 重要：这会将章节转化为独立页面
---

幻灯片

幻灯片位于 /slides 目录中，是包含幻灯片内容的 Markdown 文件，各张幻灯片之间用 --- 分隔。文件顶部需要指定以下 frontmatter 区域：

---
type: slides
---

第一张和最后一张幻灯片 使用特殊的布局，将在幻灯片中央显示标题。演讲者备注（即讲稿）可以添加在幻灯片末尾，前面加上 Notes: 标记。这些备注将显示在幻灯片右侧。以下是一个幻灯片文件的示例：

---
type: slide
---

# 处理流水线

Notes: 这是一份关于处理流水线的幻灯片。

---

# 下一张幻灯片

- 这里有一些要点
- 还有另一个要点

<img src="/image.jpg" alt="位于 /static 的一张图片" />

自定义元素

使用自定义元素时，请确保在开始标签/结束标签与子元素之间留出空行。否则，Markdown 内容可能无法正确渲染。

<exercise>

单个练习的容器。

参数	类型	描述
id	数字 / 字符串	章节内唯一的练习 ID。
title	字符串	练习标题。
type	字符串	可选类型。设置为 "slides" 会使容器更宽，并添加图标。
children	-	练习的内容。

<exercise id="1" title="spaCy 简介">

内容写在这里...

</exercise>

<codeblock>

参数	类型	描述
id	数字 / 字符串	代码练习的唯一标识符。
source	字符串	源文件名（不含文件扩展名）。若未设置，则默认为 exc_${id}。
solution	字符串	解答文件名（不含文件扩展名）。若未设置，则默认为 solution_${id}。
test	字符串	测试文件名（不含文件扩展名）。若未设置，则默认为 test_${id}。
children	字符串	用户点击“显示提示”时显示的可选提示。

<codeblock id="02_03">

这是一个提示！

</codeblock>

<slides>

使用 Reveal.js 和 Markdown 文件交互式展示幻灯片的容器。

参数	类型	描述
source	字符串	幻灯片文件名（不含文件扩展名）。

<slides source="chapter1_01_introduction-to-spacy">
</slides>

<choice>

选择题的容器。

参数	类型	描述
id	字符串 / 数字	可选的唯一 ID。如果一个练习中包含多个选择题，可以使用此 ID。
children	节点	仅包含用于选项的 <opt> 组件。

<choice>

<opt text="选项一">您选择了选项一！这不太好。</opt>
<opt text="选项二" correct="true">太好了！</opt>

</choice>

<opt>

一个多项选择题的选项。

参数	类型	描述
text	字符串	要显示的选项文本。支持内联 HTML。
correct	字符串	如果该选项是正确答案，则设置为 "true"。
children	字符串	如果该选项被选中，要显示的文本（解释其正确或错误的原因）。

spaCy 高级自然语言处理课程快速上手指南

本指南旨在帮助中国开发者快速搭建并运行 spacy-course 本地开发环境。该项目是一个免费的在线课程框架，用于学习如何使用 spaCy 构建高级自然语言理解系统。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Node.js：版本需 >= 10.15 (建议使用 LTS 版本)
• npm：随 Node.js 自动安装
• 可选 - Docker：如果您希望使用容器化环境运行，需安装 Docker 和 Make 工具
• 网络环境：由于项目依赖 Binder 进行后端代码执行，请确保网络能访问 mybinder.org。如遇到连接问题，建议配置科学上网或使用国内镜像加速节点。

提示：国内用户安装 Node 依赖时，可临时切换淘宝镜像源以提升速度： npm config set registry https://registry.npmmirror.com

安装步骤

您可以选择通过 npm 直接安装或通过 Docker 运行。

方式一：使用 npm 安装（推荐）

1. 全局安装 Gatsby CLI：

   npm install -g gatsby-cli
   

2. 克隆项目代码：

   git clone https://github.com/explosion/spacy-course.git
   cd spacy-course
   

3. 安装项目依赖：

   npm install
   

方式二：使用 Docker 运行

如果您已安装 Docker 和 Make，可直接构建并运行：

make build
make gatsby-dev

基本使用

安装完成后，启动本地开发服务器即可开始学习或开发。

1. 启动开发服务器： 在项目根目录下运行以下命令：

   npm run dev
   

2. 访问课程界面： 终端显示 Server started 后，打开浏览器访问： http://localhost:8000

3. 切换语言： 默认可能为英文界面。访问以下地址直接进入中文版课程： http://localhost:8000/zh

4. 交互体验：

   • 课程前端由 Gatsby 驱动，练习题支持直接在浏览器中编辑 Python 代码。
   • 点击"Run"或"Submit"时，系统会通过 Binder 调用后台 Jupyter 内核执行代码并实时返回结果。
   • 您可以随时查看章节内容、利用提示（Hints）或查看答案（Solutions）进行自学。

5. 停止服务： 在终端按 Ctrl + C 即可停止开发服务器。