DeepPavlov 1.0

DeepPavlov 1.0 是一个基于 PyTorch 和 transformers 构建的开源自然语言处理框架。DeepPavlov 1.0 旨在支持模块化和配置驱动的最先进 NLP 模型开发，并广泛应用于各类 NLP 任务。该框架专为对 NLP/ML 知识了解有限的从业者设计。

快速链接

名称	描述
⭐️ 演示	在线演示中体验我们的 NLP 模型
📚 文档	如何使用 DeepPavlov 1.0 及其功能
🚀 模型列表	在可用模型列表中找到您需要的 NLP 模型
🪐 贡献指南	请在贡献前阅读贡献指南
🎛 问题	如果您遇到 DeepPavlov 的问题，请告知我们
⏩ 论坛	如果您在使用 DeepPavlov 时遇到问题，请告诉我们
📦 博客	阅读我们最新的开发动态
🦙 扩展 Colab 教程	查看我们模型的代码教程
🌌 Docker Hub	查看用于快速部署的 Docker 镜像
👩‍🏫 反馈	请留下您的反馈，帮助我们改进 DeepPavlov

安装

0. DeepPavlov 支持 Linux、Windows 10+（通过 WSL/WSL2）、MacOS（Big Sur+）平台，以及 Python 3.6、3.7、3.8、3.9 和 3.10 版本。 根据所使用的模型，可能需要 4 至 16 GB 的内存。

1. 创建并激活虚拟环境：

   • Linux

   python -m venv env
   source ./env/bin/activate
   

2. 在环境中安装包：

   pip install deeppavlov
   

快速入门

DeepPavlov 中包含许多优秀的预训练 NLP 模型。每个模型都由其配置文件决定。

模型列表可在 文档页面 的 deeppavlov.configs（Python）中找到：

from deeppavlov import configs

选定模型（及配置文件）后，有两种方式来训练、评估和推理该模型：

• 通过 命令行界面 (CLI) 和
• 通过 Python。

GPU 要求

默认情况下，DeepPavlov 会从 PyPI 安装模型所需的依赖。然而，PyPI 上的 PyTorch 可能无法支持您设备的 CUDA 功能。要在 GPU 上运行受支持的 DeepPavlov 模型，您需要具备与所用 GPU 兼容的 CUDA 以及 DeepPavlov 模型所需的 PyTorch 版本。详细信息请参阅 文档。建议使用 Pascal 或更新架构且显存不低于 4 GB 的 GPU。

命令行界面 (CLI)

要通过 CLI 交互式地获取模型预测，运行以下命令：

python -m deeppavlov interact <config_path> [-d] [-i]

• -d 下载所需数据——预训练模型文件和嵌入（可选）。
• -i 安装模型依赖（可选）。

您也可以以同样简单的方式进行训练：

python -m deeppavlov train <config_path> [-d] [-i]

无论是否使用 -d 标志，数据集都会被下载。

若要使用您自己的数据进行训练，需修改 训练配置文档 中的数据读取路径。数据格式在相应模型的文档页面中说明。

您还可以使用配置文件执行更多操作：

python -m deeppavlov <action> <config_path> [-d] [-i]

• <action> 可以是：
  • install 安装模型依赖（等同于 -i）；
  • download 下载模型数据（等同于 -d）；
  • train 使用配置文件中指定的数据训练模型；
  • evaluate 在同一数据集中计算指标；
  • interact 通过 CLI 进行交互；
  • riseapi 启动 REST API 服务器（详见 文档)；
  • predict 获取来自 stdin 或指定文件路径的样本预测，如果指定了 -f <file_path>。
• <config_path> 指定模型配置文件的路径或名称。
• -d 下载所需数据。
• -i 安装模型依赖。

Python

要通过 Python 交互式地获取模型预测，运行以下代码：

from deeppavlov import build_model

model = build_model(<config_path>, install=True, download=True)

# 获取 'input_text1'、'input_text2' 的预测
model(['input_text1', 'input_text2'])

其中：

• install=True 安装模型依赖（可选）；
• download=True 从网上下载所需数据——预训练模型文件和嵌入（可选）；
• <config_path> 是模型名称（例如 'ner_ontonotes_bert_mult'）、所选模型配置文件的路径（例如 "deeppavlov/configs/ner/ner_ontonotes_bert_mult.json"），或者直接使用 deeppavlov.configs 属性（例如 deeppavlov.configs.ner.ner_ontonotes_bert_mult，无需引号）。

您也可以以同样的方式进行训练：

from deeppavlov import train_model 

model = train_model(<config_path>, install=True, download=True)

若要使用您自己的数据进行训练，需修改 训练配置文档 中的数据读取路径。数据格式在相应模型的文档页面中说明。

此外，您还可以使用配置文件中指定的数据集计算指标：

from deeppavlov import evaluate_model 

model = evaluate_model(<config_path>, install=True, download=True)

DeepPavlov 还允许（参见 文档）通过 Python 组件构建模型以进行推理。

许可证

DeepPavlov 采用 Apache 2.0 许可证。

引用

@inproceedings{savkin-etal-2024-deeppavlov,
    title = "DeepPavlov 1.0：通往由 Transformer 和迁移学习支持的先进自然语言处理模型的门户",
    author = "萨夫金·马克西姆、沃兹纽克·阿纳斯塔西娅、伊格纳托夫·费多尔、科尔扎诺娃·安娜、卡尔波夫·德米特里、波波夫·亚历山大、科诺瓦洛夫·瓦西里",
    editor = "埃尔南德斯·法里亚斯、德莉娅·伊拉苏、霍普·汤姆、李曼玲",
    booktitle = "2024年自然语言处理经验方法会议：系统演示论文集",
    month = nov,
    year = "2024",
    address = "美国佛罗里达州迈阿密",
    publisher = "计算语言学协会",
    url = "https://aclanthology.org/2024.emnlp-demo.47",
    pages = "465--474",
    abstract = "我们介绍了 DeepPavlov 1.0，这是一个利用迁移学习技术来使用自然语言处理（NLP）模型的开源框架。DeepPavlov 1.0 旨在实现模块化和配置驱动的最先进 NLP 模型开发，并支持广泛的 NLP 模型应用。DeepPavlov 1.0 面向对 NLP/ML 知识了解有限的从业者。DeepPavlov 基于 PyTorch 构建，并支持 HuggingFace 的 Transformer 模型。DeepPavlov 以 Apache 2.0 许可证公开发布，并提供在线演示访问。",
}

DeepPavlov 快速上手指南

DeepPavlov 1.0 是一个基于 PyTorch 和 Hugging Face Transformers 构建的开源 NLP 框架。它专为模块化、配置驱动的开发而设计，旨在帮助 NLP/ML 知识有限的开发者轻松使用最先进的预训练模型。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：
  • Linux
  • Windows 10+ (需通过 WSL/WSL2)
  • MacOS (Big Sur 及以上版本)
• Python 版本：3.6, 3.7, 3.8, 3.9, 3.10 或 3.11
• 内存要求：根据所选模型不同，通常需要 4GB 至 16GB RAM。
• GPU 加速（可选）：
  • 推荐使用 Pascal 架构或更新的 GPU，显存 4GB+。
  • 需安装与显卡兼容的 CUDA 工具包。
  • 注意：默认安装的 PyTorch 可能不支持您的 CUDA 版本，如需 GPU 加速，请参考官方文档手动安装对应版本的 PyTorch。

安装步骤

建议使用虚拟环境进行安装，以避免依赖冲突。

1. 创建并激活虚拟环境

   python -m venv env
   source ./env/bin/activate
   # Windows 用户请使用: .\env\Scripts\activate
   

2. 安装 DeepPavlov

   pip install deeppavlov
   

   提示：国内用户若下载速度较慢，可添加国内镜像源加速安装： pip install deeppavlov -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

DeepPavlov 的核心是通过配置文件（config）来加载和运行模型。您可以通过 命令行 (CLI) 或 Python 代码 两种方式快速使用。

方式一：命令行界面 (CLI)

这是最快速的体验方式，无需编写代码即可与模型交互。

交互式预测 运行以下命令启动交互模式（以 BERT 命名实体识别模型为例）：

python -m deeppavlov interact ner_ontonotes_bert_mult -d -i

• interact: 启动交互模式。
• ner_ontonotes_bert_mult: 模型配置名称（也可替换为配置文件路径）。
• -d: 自动下载所需的预训练模型文件和嵌入向量。
• -i: 自动安装该模型所需的额外依赖。

其他常用命令

• 训练模型: python -m deeppavlov train <config_path> -d -i
• 评估模型: python -m deeppavlov evaluate <config_path> -d -i
• 启动 API 服务: python -m deeppavlov riseapi <config_path> -d -i

方式二：Python 代码

在 Python 脚本或 Jupyter Notebook 中集成模型。

加载模型并进行预测

from deeppavlov import build_model

# 构建模型
# install=True: 自动安装依赖
# download=True: 自动下载数据
model = build_model('ner_ontonotes_bert_mult', install=True, download=True)

# 获取预测结果
predictions = model(['input_text1', 'input_text2'])
print(predictions)

训练与评估

from deeppavlov import train_model, evaluate_model

# 训练模型
model = train_model('ner_ontonotes_bert_mult', install=True, download=True)

# 评估模型
model = evaluate_model('ner_ontonotes_bert_mult', install=True, download=True)

提示：<config_path> 可以是模型名称字符串（如 'ner_ontonotes_bert_mult'），也可以是配置文件的具体路径，或者是 deeppavlov.configs 模块属性（如 deeppavlov.configs.ner.ner_ontonotes_bert_mult）。更多可用模型列表请参阅 官方模型列表。