spaCy：工业级自然语言处理

spaCy 是一个用于 Python 和 Cython 的 高级自然语言处理 库。它基于最新的研究成果，并从一开始就专为实际产品开发而设计。

spaCy 提供了 预训练的管道，目前支持 70 多种语言 的分词和模型训练。它拥有最先进的速度和用于标注、句法分析、命名实体识别、文本分类 等任务的 神经网络模型，并支持与 BERT 等预训练 Transformer 模型 结合的多任务学习。此外，spaCy 还配备了一个生产就绪的 训练系统，以及简便的模型打包、部署和工作流管理功能。spaCy 是商业开源软件，采用 MIT 许可证 发布。

💫 版本 3.8 已发布！ 请在此处查看发行说明。

📖 文档

文档
⭐️ spaCy 101	刚接触 spaCy？这里有一切你需要了解的内容！
📚 使用指南	如何使用 spaCy 及其各项功能。
🚀 v3.0 新特性	新功能、向后不兼容变更及迁移指南。
🪐 项目模板	你可以克隆、修改并运行的端到端工作流。
🎛 [API 参考]	spaCy API 的详细参考文档。
⏩ GPU 处理	使用支持 CUDA 的 GPU 来加速 spaCy 的处理。
📦 模型	下载适用于 spaCy 的预训练管道。
🦙 大型语言模型	将 LLM 集成到 spaCy 管道中。
🌌 [生态社区]	spaCy 生态系统中的插件、扩展、演示和书籍。
⚙️ spaCy VS Code 扩展	用于处理 spaCy 配置文件的额外工具和功能。
👩‍🏫 在线课程	在这门免费且互动式的在线课程中学习 spaCy。
📰 博客	阅读 Explosion 公司关于 spaCy 和 Prodigy 的最新开发进展、版本发布、技术分享等内容。
📺 视频	我们的 YouTube 频道，提供视频教程、技术演讲等丰富内容。
🔴 直播	每周与 Matt 一起实时开发 spaCy，并畅聊自然语言处理相关话题。
🛠 [更新日志]	变更记录与版本历史。
💝 [贡献]	如何为 spaCy 项目及其代码库做出贡献。
👕 周边商品	通过独特、定制设计的周边商品来支持我们及我们的工作！
	由 spaCy 核心开发团队提供的定制化 NLP 咨询、实施及战略建议。流程精简、可直接投入生产、结果可预测且易于维护。发送邮件给我们或填写我们的 5 分钟问卷，我们将尽快与你联系！ 了解更多 →

💬 提问渠道

spaCy 项目由 spaCy 团队 维护。请理解，我们无法通过电子邮件提供一对一的支持。同时，我们认为公开分享的帮助更有价值，这样更多人可以从中受益。

类型	平台
🚨 Bug 报告	GitHub 问题追踪器
🎁 功能请求与建议	GitHub 讨论区 · 直播
👩‍💻 使用问题	GitHub 讨论区 · Stack Overflow
🗯 一般讨论	GitHub 讨论区 · 直播

特性

• 支持 70+ 种语言
• 针对不同语言和任务的 预训练管道
• 使用 BERT 等预训练 Transformer 模型进行多任务学习
• 支持预训练的 词向量 和嵌入
• 行业领先的运行速度
• 生产就绪的 训练系统
• 基于语言学原理的 分词
• 用于命名实体识别、词性标注、依存句法分析、句子切分、文本分类、词形还原、形态分析、实体链接等功能的组件
• 可通过 自定义组件 和属性轻松扩展
• 支持在 PyTorch、TensorFlow 等框架中使用自定义模型
• 内置语法和 NER 的 可视化工具
• 简单的 模型打包、部署和工作流管理
• 稳健且经过严格评估的准确性

📖 更多详情，请参阅 事实、数据与基准测试。

⏳ 安装 spaCy

详细的安装说明请参阅 文档。

• 操作系统: macOS / OS X · Linux · Windows (Cygwin, MinGW, Visual Studio)
• Python 版本: Python >=3.7, <3.13（仅 64 位）
• 包管理器: pip · conda（通过 conda-forge）

pip

通过 pip，spaCy 发布了源码包和二进制 wheel 文件。在安装 spaCy 及其依赖项之前，请确保您的 pip、setuptools 和 wheel 均为最新版本。

pip install -U pip setuptools wheel
pip install spacy

若需安装用于词形还原和归一化的额外数据表，可运行 pip install spacy[lookups]，或单独安装 spacy-lookups-data。该 lookups 包用于创建包含词形还原数据的空白模型，以及对尚未提供预训练模型且未借助第三方库的语言进行词形还原。

使用 pip 时，通常建议在虚拟环境中安装软件包，以避免修改系统状态：

python -m venv .env
source .env/bin/activate
pip install -U pip setuptools wheel
pip install spacy

conda

您也可以通过 conda-forge 通道从 conda 安装 spaCy。有关包含构建配方和配置的 feedstock，请查看 此仓库。

conda install -c conda-forge spacy

更新 spaCy

某些 spaCy 更新可能需要下载新的统计模型。如果您正在使用 spaCy v2.0 或更高版本，可以使用 validate 命令检查已安装的模型是否兼容；如果不兼容，则会显示更新方法的详细信息：

pip install -U spacy
python -m spacy validate

如果您曾训练过自己的模型，请注意训练输入和运行时输入必须一致。更新 spaCy 后，我们建议您使用新版本 重新训练模型。

📖 关于从 spaCy 2.x 升级到 spaCy 3.x 的详细信息，请参阅 迁移指南。

📦 下载模型包

spaCy 的预训练管道可以作为 Python 包 安装。这意味着它们是您应用程序的一部分，与其他模块无异。模型可以通过 spaCy 的 download 命令安装，也可以手动通过指定路径或 URL 进行安装。

文档
[可用管道]	详细的管道描述、准确率数据和基准测试。
[模型文档]	详细的使用和安装说明。
[训练]	如何基于您的数据训练自定义管道。

# 为您的 spaCy 安装下载最匹配的特定模型版本
python -m spacy download en_core_web_sm

# 使用 pip 安装 .tar.gz 归档或来自路径或 URL 的 .whl 文件
pip install /Users/you/en_core_web_sm-3.0.0.tar.gz
pip install /Users/you/en_core_web_sm-3.0.0-py3-none-any.whl
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0.tar.gz

加载和使用模型

要加载一个模型，可以使用 spacy.load()，传入模型名称或指向模型数据目录的路径。

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp("This is a sentence.")

你也可以直接通过模型的完整名称导入它，然后调用其 load() 方法，无需传递任何参数。

import spacy
import en_core_web_sm

nlp = en_core_web_sm.load()
doc = nlp("This is a sentence.")

📖 更多详细信息和示例，请参阅 模型文档。

⚒ 从源代码编译

安装 spaCy 的另一种方式是克隆其 GitHub 仓库，然后从源代码构建。如果你希望对代码库进行修改，这种方式通常更为常见。你需要确保已搭建好开发环境，包括带有头文件的 Python 发行版、编译器、 pip、 virtualenv 和 git。其中编译器的配置最为复杂，具体操作取决于你的操作系统。

平台
Ubuntu	通过 apt-get 安装系统级依赖：sudo apt-get install build-essential python-dev git 。
Mac	安装最新版本的 XCode及其“命令行工具”。macOS 和 OS X 系统默认预装了 Python 和 git。
Windows	安装与你的 Python 解释器编译时所使用的版本相匹配的 Visual C++ Build Tools 或 Visual Studio Express。

有关更详细的说明，请参阅关于 从源代码编译 spaCy 的文档以及 快速入门小工具，以获取适用于你所在平台和 Python 版本的正确命令。

git clone https://github.com/explosion/spaCy
cd spaCy

python -m venv .env
source .env/bin/activate

# 确保使用最新版本的 pip
python -m pip install -U pip setuptools wheel

pip install -r requirements.txt
pip install --no-build-isolation --editable .

若需安装附加组件：

pip install --no-build-isolation --editable .[lookups,cuda102]

🚦 运行测试

spaCy 自带一套 全面的测试套件。为了运行这些测试，通常需要先克隆仓库并从源代码构建 spaCy。这样做还会安装在 requirements.txt 中定义的必要开发依赖项和测试工具。

另外，你也可以在已安装的 spacy 包中直接运行 pytest 来执行测试。别忘了先通过 spaCy 的 requirements.txt 安装测试所需的工具：

pip install -r requirements.txt
python -m pytest --pyargs spacy

spaCy 快速上手指南

spaCy 是一个用于 Python 和 Cython 的**工业级自然语言处理（NLP）**库。它基于最新的研究成果构建，专为实际产品设计，支持 70 多种语言的标记化、训练、命名实体识别、文本分类等功能，并提供高性能的神经网络模型。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：需要 Python 3.8+。
• 编译器：在 Windows 上安装可能需要 Microsoft C++ Build Tools；Linux/macOS 通常需要 gcc/clang。
• 依赖管理：建议使用 venv 或 conda 创建独立的虚拟环境。

安装步骤

1. 安装 spaCy 核心库

推荐使用国内镜像源（如清华源）以加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple spacy

或者使用 conda 安装：

conda install -c conda-forge spacy

2. 下载预训练模型

spaCy 本身不包含模型数据，需根据目标语言单独下载。以下以英文小模型（en_core_web_sm）和中文小模型（zh_core_web_sm）为例：

直接下载（推荐）：

python -m spacy download en_core_web_sm
python -m spacy download zh_core_web_sm

若网络受限，可先下载 wheel 文件后离线安装： 访问 https://github.com/explosion/spacy-models/releases 下载对应 .whl 文件，然后执行：

pip install en_core_web_sm-3.8.0-py3-none-any.whl

(请将文件名替换为实际下载的版本)

基本使用

以下示例展示如何加载模型并进行分词、词性标注和命名实体识别。

Python 代码示例

import spacy

# 加载中文预训练模型 (确保已运行: python -m spacy download zh_core_web_sm)
nlp = spacy.load("zh_core_web_sm")

# 待处理的文本
text = "埃隆·马斯克于 2002 年创立了 SpaceX，总部位于美国加利福尼亚州。"

# 处理文本
doc = nlp(text)

# 遍历分词结果
print("分词与词性标注：")
for token in doc:
    print(f"{token.text} \t {token.pos_}")

# 提取命名实体
print("\n命名实体识别：")
for ent in doc.ents:
    print(f"{ent.text} \t {ent.label_}")

命令行快速测试

你也可以直接在终端使用 spacy 命令快速测试模型效果：

python -m spacy predict zh_core_web_sm --text "苹果公司计划在加州发布新产品"