spaCy 模型

此仓库包含 spaCy NLP 库的模型 发布。有关如何下载、安装和使用这些模型的更多信息，请参阅 模型文档。

⚠️ 重要提示： 由于模型文件可能非常庞大，且主要由二进制数据组成，我们无法直接将它们作为文件放在 GitHub 仓库中。相反，我们选择将其以 .whl 和 .tar.gz 文件的形式添加到 发布页面，这样我们仍然可以维护公开的发布历史。

快速入门

要安装特定模型，请使用以下命令并指定模型名称（例如 en_core_web_sm）：

python -m spacy download [model]

• spaCy v3.x 模型目录
• spaCy v3.x 模型比较
• spaCy v2.x 模型目录
• spaCy v2.x 模型比较
• 单个版本发布说明

关于 spaCy v1.x 的模型，请参阅下方的 spaCy v1.x 发布。

模型命名规范

通常，spaCy 要求所有模型包遵循 [lang]_[name] 的命名规范。对于我们提供的管道模型，我们将名称分为三个部分：

• 类型：模型功能：
  • core：通用模型，包含标注、句法分析、词形还原和命名实体识别。
  • dep：仅包含标注、句法分析和词形还原。
  • ent：仅包含命名实体识别。
  • sent：仅包含句子分割。
• 语料类型：模型训练所用文本的类型（例如 web 表示网络文本，news 表示新闻文本）。
• 大小：模型规模标识：
  • sm：不包含词向量。
  • md：精简版词向量表，包含约 2 万个唯一向量，覆盖约 50 万个词汇。
  • lg：大型词向量表，包含约 50 万个条目。

例如，en_core_web_md 是一个中等规模的英语模型，基于书面网络文本（博客、新闻、评论）训练而成，包含标注器、依存句法分析器、词形还原器、命名实体识别器以及一个包含 2 万个唯一向量的词向量表。

模型版本控制

此外，模型版本号同时反映了与 spaCy 的兼容性以及模型本身的版本。模型版本 a.b.c 的含义如下：

• a：spaCy 主版本号。例如，2 表示 spaCy v2.x。
• b：spaCy 次版本号。例如，3 表示 spaCy v2.3.x。
• c：模型版本号。不同的模型配置：例如，可能基于不同数据集训练、采用不同参数、经过不同迭代次数、使用不同向量等。

有关详细的兼容性概述，请参阅 compatibility.json。这也是 spaCy 内部兼容性检查的来源，当您运行 download 命令时会进行该检查。

对旧版本的支持

如果您使用的是较旧版本（v1.6.0 或更低），仍可通过 spaCy 下载并安装旧模型，方法是运行 python -m spacy.en.download all 或 python -m spacy.de.download all。.tar.gz 归档文件也已附在 v1.6.0 发布中。如需手动下载并安装模型，只需解压归档文件，将其中的目录放入 spacy/data 目录，然后通过 spacy.load('en') 或 spacy.load('de') 加载模型。

下载模型

为提高透明度并使您更轻松地将 spaCy 与自定义模型结合使用，所有数据现均以直接下载的方式提供，并按 单个版本发布 进行组织。spaCy 1.7 还支持将模型作为 Python 包 安装和加载。现在您可以自由选择存储数据文件的位置，并设置“快捷链接”以便通过模型名称从 spaCy 中加载模型。有关详细信息，请参阅新的 模型文档。

# 根据您的 spaCy 安装下载最匹配的特定模型版本
python -m spacy download en_core_web_sm

# 从路径或 URL 安装 .whl 或 .tar.gz 归档文件
pip install /Users/you/en_core_web_sm-3.0.0.tar.gz
pip install /Users/you/en_core_web_sm-3.0.0-py3-none-any.whl
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0.tar.gz
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0-py3-none-any.whl

加载和使用模型

要加载模型，可使用 spacy.load() 方法，传入模型名称、快捷链接或模型数据目录的路径。

import spacy
nlp = spacy.load("en_core_web_sm")
doc = nlp(u"这是一个句子。")

您也可以直接通过模型的完整名称导入模型，然后调用其 load() 方法而无需传递任何参数。这种方法同样适用于 spaCy 早期版本中的旧模型。

import spacy
import en_core_web_sm

nlp = en_core_web_sm.load()
doc = nlp(u"这是一个句子。")

手动下载和安装

在某些情况下，您可能更倾向于手动下载数据，例如将其放置在自定义目录中。您可以从 最新发布 页面通过浏览器下载模型，或者使用归档文件的 URL 编写自己的下载脚本。归档文件包含一个模型目录，该目录下又包含一个存放模型数据的子目录。

└── en_core_web_md-3.0.0.tar.gz       # 下载的归档文件
    ├── setup.py                      # 用于 pip 安装的设置文件
    ├── meta.json                     # 管道元数据副本
    └── en_core_web_md                # 📦 管道包
        ├── __init__.py               # 用于 pip 安装的初始化文件
        └── en_core_web_md-3.0.0      # 管道数据
            ├── config.cfg            # 管道配置文件
            ├── meta.json             # 管道元数据
            └── ...                   # 包含组件数据的目录

📖 更多信息和示例，请参阅 模型文档。

spaCy v1.x 版本发布

日期	模型	版本	依	实	向	大小	许可证
2017-06-06	es_core_web_md	1.0.0	X	X	X	377 MB	CC BY-SA
2017-04-26	fr_depvec_web_lg	1.0.0	X		X	1.33 GB	CC BY-NC
2017-03-21	en_core_web_md	1.2.1	X	X	X	1 GB	CC BY-SA
2017-03-21	en_depent_web_md	1.2.1	X	X		328 MB	CC BY-SA
2017-03-17	en_core_web_sm	1.2.0	X	X	X	50 MB	CC BY-SA
2017-03-17	en_core_web_md	1.2.0	X	X	X	1 GB	CC BY-SA
2017-03-17	en_depent_web_md	1.2.0	X	X		328 MB	CC BY-SA
2016-05-10	de_core_news_md	1.0.0	X	X	X	645 MB	CC BY-SA
2016-03-08	en_vectors_glove_md	1.0.0			X	727 MB	CC BY-SA

v1.x 版本模型命名规范

• 类型: 模型功能（例如，core 表示通用模型，包含词汇表、句法、实体和词向量；depent 表示仅包含词汇表、句法和实体）
• 文体: 模型训练所用文本的类型（例如，web 表示网络文本，news 表示新闻文本）
• 大小: 模型规模标识（sm、md 或 lg）

例如，en_depent_web_md 是一个中等规模的英语模型，基于书面网络文本（博客、新闻、评论）训练而成，包含词汇表、句法和实体。

问题与错误报告

如需报告模型相关问题，请在 spaCy 问题跟踪器 上提交问题。请注意，没有任何模型是完美的。由于这些模型基于统计方法，其预期行为始终会包含一些错误。然而，某些特定的错误可能表明训练特征提取或优化代码存在更深层次的问题。如果您发现模型性能中存在可疑的模式，请务必提交报告。

spaCy 模型快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Linux、macOS 或 Windows。
• Python 版本：建议 Python 3.6+（具体取决于您安装的 spaCy 版本）。
• 前置依赖：必须先安装 spacy 库。

  pip install spacy
  

• 网络环境：下载模型需要访问 GitHub Releases。如果直接下载速度慢，建议配置代理或使用支持断点续传的工具下载 .whl / .tar.gz 文件后本地安装。

安装步骤

spaCy 模型以独立的 Python 包形式发布。推荐使用命令行工具自动下载并安装与当前 spaCy 版本最匹配的模型。

方法一：自动下载（推荐）

使用 spaCy 内置的下载命令，将 [model] 替换为您需要的模型名称（例如 en_core_web_sm）：

python -m spacy download [model]

常用模型示例：

• 英语小型模型：python -m spacy download en_core_web_sm
• 英语中型模型：python -m spacy download en_core_web_md
• 中文小型模型：python -m spacy download zh_core_web_sm

方法二：手动安装

如果您需要离线安装或指定特定版本，可以从 GitHub Releases 下载 .whl 或 .tar.gz 文件，然后使用 pip 安装：

# 从本地路径安装
pip install /path/to/en_core_web_sm-3.0.0.tar.gz

# 或直接通过 URL 安装
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_sm-3.0.0/en_core_web_sm-3.0.0-py3-none-any.whl

基本使用

安装完成后，您可以通过以下两种加载模型并开始处理文本。

方式 A：通过模型名称加载（推荐）

这是最常用的方式，适用于已安装为 Python 包的模型。

import spacy

# 加载模型
nlp = spacy.load("en_core_web_sm")

# 处理文本
doc = nlp(u"This is a sentence.")

# 打印分词结果
for token in doc:
    print(token.text, token.pos_)

方式 B：直接导入模块加载

您也可以像导入普通 Python 库一样直接导入模型包：

import spacy
import en_core_web_sm

# 加载模型
nlp = en_core_web_sm.load()

# 处理文本
doc = nlp(u"This is a sentence.")

提示：模型命名规则通常为 [语言]_[类型]_[来源]_[大小]。例如 en_core_web_sm 表示：英语 (en) + 通用核心功能 (core) + 网络文本训练 (web) + 小型无词向量 (sm)。更多模型详情可查阅 spaCy 官方模型目录。