英文 | 简体中文

基于深度学习的知识抽取工具包
用于知识图谱构建

DeepKE 是一个用于知识图谱构建的知识抽取工具包，支持 实体、关系 和 属性 抽取的 cnSchema、低资源、文档级 以及 多模态 场景。我们为初学者提供了 文档、在线演示、论文、幻灯片 和 海报。

• ❗想用 DeepKE 结合 大语言模型 吗？试试 DeepKE-LLM 和 OneKE，尽情体验吧！
• ❗想训练监督模型吗？试试 快速入门，我们提供了 NER 模型（例如，LightNER(COLING'22)、W2NER(AAAI'22)），关系抽取模型（例如，KnowPrompt(WWW'22)），以及三元组抽取模型（例如，ASP(EMNLP'22)、PRGC(ACL'21)、PURE(NAACL'21)）。我们还在 DeepKE-cnSchema 中发布了现成的模型，欢迎使用！
• 建议使用 Linux 系统；如果使用 Windows，请在文件路径中使用 \\；
• 如果无法访问 HuggingFace，请考虑使用 wisemodel 或 modescape。

如果您在安装 DeepKE 和 DeepKE-LLM 时遇到任何问题，请查看 提示 或及时提交 问题，我们将协助您解决问题！

目录

• 目录
• 最新动态
• 预测演示
• 模型框架
• 快速入门
  • DeepKE-LLM
  • DeepKE-MCP-Tools
  • DeepKE
    • 🔧手动环境配置
    • 🐳使用 Docker 镜像构建
  • 所需条件
    • DeepKE
  • 三大功能简介
    • 1. 命名实体识别
    • 2. 关系抽取
    • 3. 属性抽取
    • 4. 事件抽取
• 提示
• 待办事项
• 阅读材料
• 相关工具包
• 引用
• 贡献者
• 其他知识抽取开源项目

新闻动态

• 2025年6月 我们将MCP服务工具集成到DeepKE中，支持通过大型语言模型（LLMs）作为工具调用者，对轻量级模型进行知识抽取。
• 2024年12月 我们开源了OneKE知识抽取框架，支持跨多种场景的多智能体知识抽取。
• 2024年4月 我们发布了一种新的中英双语、基于模式的信息抽取模型OneKE，该模型基于Chinese-Alpaca-2-13B。
• 2024年2月 我们发布了一个大规模（0.32B tokens）、高质量的中英双语信息抽取（IE）指令数据集IEPile，并附带两套使用IEPile训练的模型：baichuan2-13b-iepile-lora和llama2-13b-iepile-lora。
• 2023年9月 针对基于指令的知识图谱构建任务（Instruction based KGC），我们发布了名为InstructIE的中英双语信息抽取（IE）指令数据集，详情请参见这里。
• 2023年6月 我们更新了DeepKE-LLM，以支持使用KnowLM、ChatGLM、LLaMA系列、GPT系列等模型进行知识抽取。
• 2023年4月 我们新增了多个模型，包括CP-NER(IJCAI'23)、ASP(EMNLP'22)、PRGC(ACL'21)、PURE(NAACL'21)，提供了事件抽取能力（中文和英文），并兼容更高版本的Python包（如Transformers）。
• 2023年2月 我们支持使用LLM（GPT-3）结合上下文学习（基于EasyInstruct)及数据生成，并新增了NER模型W2NER(AAAI'22)。

往期新闻

• 2022年11月 增加了实体识别和关系抽取的数据标注说明，实现了弱监督数据的自动标注（实体抽取和关系抽取），并优化了多GPU训练。

• 2022年9月 论文DeepKE: 一种基于深度学习的知识抽取工具包用于知识库填充已被EMNLP 2022系统演示赛道接受。

• 2022年8月 我们为低资源关系抽取增加了数据增强（中文、英文）支持。

• 2022年6月 我们为实体和关系抽取增加了多模态支持。

• 2022年5月 我们发布了DeepKE-cnschema，其中包含现成的知识抽取模型。

• 2022年1月 我们发表了一篇论文DeepKE: 一种基于深度学习的知识抽取工具包用于知识库填充。

• 2021年12月 我们添加了dockerfile，以便自动创建环境。

• 2021年11月 DeepKE的演示版本发布，支持无需部署和训练即可进行实时抽取。

• 同时发布了DeepKE的文档，其中包含了源代码和数据集等详细信息。

• 2021年10月 pip install deepke

• DeepKE v2.0的代码已发布。

• 2019年8月 DeepKE v1.0的代码已发布。

• 2018年8月 DeepKE项目启动，并发布了DeepKE v0.1的代码。

预测演示

这里有一个预测演示。GIF文件由Terminalizer生成。获取代码。

模型框架

• DeepKE包含一个统一的框架，用于命名实体识别、关系抽取和属性抽取这三项知识抽取任务。
• 每项任务都可以在不同的场景下实现。例如，我们可以实现标准、低资源（少样本）、文档级和多模态的关系抽取。
• 每个应用场景都由三个部分组成：数据，包括分词器、预处理模块和加载器；模型，包括模块、编码器和前向传播组件；核心，包括训练、评估和预测功能。

快速入门

DeepKE-LLM

在大模型时代，DeepKE-LLM采用了全新的环境依赖。

conda create -n deepke-llm python=3.9
conda activate deepke-llm

cd example/llm
pip install -r requirements.txt

请注意，requirements.txt文件位于example/llm文件夹内。

DeepKE-MCP-Tools

我们把MCP（模型调用协议）服务工具集成到DeepKE中，使大型语言模型（LLMs）能够作为工具调用者，对轻量级模型进行知识抽取。

• MCP服务已经部署完毕，可通过URL访问。
• 如需本地部署，请参考README，了解详细的操作步骤。

DeepKE

• DeepKE 支持使用 pip install deepke 进行安装。
  以完全监督的关系抽取为例。
• DeepKE 同时支持手动和Docker 镜像两种环境配置方式，您可以选择适合的方式进行搭建。
• 强烈建议在 Linux 环境中安装 DeepKE。

🔧手动环境配置

步骤1 下载基础代码

git clone --depth 1 https://github.com/zjunlp/DeepKE.git

步骤2 使用 Anaconda 创建虚拟环境并进入该环境。

conda create -n deepke python=3.8

conda activate deepke

1. 使用源码安装 DeepKE

   pip install -r requirements.txt
   
   python setup.py install
   
   python setup.py develop
   

2. 使用 pip 安装 DeepKE（不推荐！）

   pip install deepke
   

   • 请确保 pip 版本 ≤ 24.0

步骤3 进入任务目录

cd DeepKE/example/re/standard

步骤4 下载数据集，或按照标注说明获取数据

wget 121.41.117.246:8080/Data/re/standard/data.tar.gz

tar -xzvf data.tar.gz

支持多种数据格式，具体细节请参见各部分说明。

步骤5 训练（训练参数可在 conf 文件夹中修改）

我们支持通过 wandb 进行可视化调参。

python run.py

步骤6 预测（预测参数可在 conf 文件夹中修改）

在 predict.yaml 中修改已训练模型的路径。需使用模型的绝对路径，例如 xxx/checkpoints/2019-12-03_ 17-35-30/cnn_ epoch21.pth。

python predict.py

• ❗注意：如果遇到任何问题，请参考提示或提交 GitHub 问题。

🐳使用 Docker 镜像构建

步骤1 安装 Docker 客户端

安装 Docker 并启动 Docker 服务。

步骤2 拉取 Docker 镜像并运行容器

docker pull zjunlp/deepke:latest
docker run -it zjunlp/deepke:latest /bin/bash

剩余步骤与手动环境配置中的步骤3及以后相同。

• ❗注意：您可以参考提示以加快安装速度

要求

DeepKE

python == 3.8

• torch>=1.5,<=1.11
• hydra-core==1.0.6
• tensorboard==2.4.1
• matplotlib==3.4.1
• transformers==4.26.0
• jieba==0.42.1
• scikit-learn==0.24.1
• seqeval==1.2.2
• opt-einsum==3.3.0
• wandb==0.12.7
• ujson==5.6.0
• huggingface_hub==0.11.0
• tensorboardX==2.5.1
• nltk==3.8
• protobuf==3.20.1
• numpy==1.21.0
• ipdb==0.13.11
• pytorch-crf==0.7.2
• tqdm==4.66.1
• openai==0.28.0
• Jinja2==3.1.2
• datasets==2.13.2
• pyhocon==0.3.60

三大功能介绍

1. 命名实体识别

• 命名实体识别旨在从非结构化文本中识别并分类出预定义类别的命名实体，如人名、组织机构、地点等。

• 数据存储在 .txt 文件中。以下是一些示例（用户可以使用 Doccano、MarkTool 等工具进行标注，也可以利用 DeepKE 的弱监督方法自动获取数据）：

  句子	人名	地点	组织机构
  本报北京9月4日讯记者杨涌报道：部分省区人民日报宣传发行工作座谈会9月3日在4日在京举行。	杨涌	北京	人民日报
  《红楼梦》由王扶林导演，周汝昌、王蒙、周岭等多位专家参与制作。	王扶林，周汝昌，王蒙，周岭
  秦始皇兵马俑位于陕西省西安市,是世界八大奇迹之一。	秦始皇	陕西省，西安市

• 详细流程请参阅具体的 README：

  • STANDARD（完全监督）

    我们支持 LLM，并提供了现成的模型DeepKE-cnSchema-NER，无需训练即可提取 cnSchema 中的实体。

    步骤1 进入 DeepKE/example/ner/standard 目录，下载数据集。

    wget 121.41.117.246:8080/Data/ner/standard/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    步骤2 训练
    

    数据集和参数可分别在 data 文件夹和 conf 文件夹中自定义。

    python run.py
    

    步骤3 预测

    python predict.py
    

  • FEW-SHOT（少样本学习）

    步骤1 进入 DeepKE/example/ner/few-shot 目录，下载数据集。

    wget 121.41.117.246:8080/Data/ner/few_shot/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    步骤2 在低资源条件下进行训练
    

    模型加载和保存的目录以及配置参数均可在 conf 文件夹中自定义。

    python run.py +train=few_shot
    

    用户可以在 conf/train/few_shot.yaml 中修改 load_path 以使用已加载的模型。
    

    步骤3 在 conf/config.yaml 中添加 - predict，并在 conf/predict.yaml 中将 loda_path 修改为模型路径，write_path 修改为预测结果保存路径，然后运行 python predict.py

    python predict.py
    

  • MULTIMODAL（多模态）

    步骤1 进入 DeepKE/example/ner/multimodal 目录，下载数据集。

    wget 121.41.117.246:8080/Data/ner/multimodal/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    我们使用 RCNN 检测到的物体以及原始图像中的视觉定位对象作为视觉局部信息，其中 RCNN 通过 faster_rcnn 实现，视觉定位则通过 onestage_grounding 完成。

    步骤2 在多模态设置下进行训练
    

    • 数据集和参数可分别在 data 文件夹和 conf 文件夹中自定义。
    • 从上次训练的模型开始：将 conf/train.yaml 中的 load_path 修改为上次保存的模型路径。同时，训练日志的保存路径可通过 log_dir 自定义。

    python run.py
    

    步骤3 预测

    python predict.py
    

2. 关系抽取

• 关系抽取是从非结构化文本中提取实体间语义关系的任务。

• 数据存储在 .csv 文件中。部分示例如下（用户可以使用 Doccano、MarkTool 等工具对数据进行标注，也可以借助 DeepKE 的 弱监督方法 自动获取数据）：

  句子	关系	头实体	头实体偏移量	尾实体	尾实体偏移量
  《岳父也是爹》是王军执导的电视剧，由马恩然、范明主演。	导演	岳父也是爹	1	王军	8
  《九玄珠》是在纵横中文网连载的一部小说，作者是龙马。	连载网站	九玄珠	1	纵横中文网	7
  提起杭州的美景，西湖总是第一个映入脑海的词语。	所在城市	西湖	8	杭州	2

• !注意：如果一个关系涉及多种实体类型，可以在输入时将实体类型与关系名称前缀组合。

• 详细流程请参阅相应的 README 文件。

  • 标准模式（全监督）

    我们支持大模型，并提供了现成的模型 DeepKE-cnSchema-RE，无需训练即可在 cnSchema 上抽取关系。

    步骤1 进入 DeepKE/example/re/standard 文件夹，下载数据集。

    wget 121.41.117.246:8080/Data/re/standard/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    步骤2 训练
    

    数据集和参数可分别在 data 文件夹和 conf 文件夹中进行自定义。

    python run.py
    

    步骤3 预测

    python predict.py
    

  • 少样本学习

    步骤1 进入 DeepKE/example/re/few-shot，下载数据集。

    wget 121.41.117.246:8080/Data/re/few_shot/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    步骤2 训练
    

    • 数据集和参数可分别在 data 文件夹和 conf 文件夹中进行自定义。
    • 如果上次训练过模型，可在 conf/train.yaml 中将 train_from_saved_model 修改为上次保存的模型路径；同时可通过 log_dir 自定义训练日志的保存路径。

    python run.py
    

    步骤3 预测

    python predict.py
    

  • 文档级关系抽取
    

    步骤1 进入 DeepKE/example/re/document，下载数据集。

    wget 121.41.117.246:8080/Data/re/document/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    步骤2 训练
    

    • 数据集和参数可分别在 data 文件夹和 conf 文件夹中进行自定义。
    • 如果上次训练过模型，可在 conf/train.yaml 中将 train_from_saved_model 修改为上次保存的模型路径；同时可通过 log_dir 自定义训练日志的保存路径。

    python run.py
    

    步骤3 预测

    python predict.py
    

  • 多模态关系抽取

    步骤1 进入 DeepKE/example/re/multimodal，下载数据集。

    wget 121.41.117.246:8080/Data/re/multimodal/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    我们利用 RCNN 检测到的物体以及从原始图像中获得的视觉定位信息作为视觉局部特征，其中 RCNN 使用 faster_rcnn，视觉定位则采用 onestage_grounding。

    步骤2 训练
    

    • 数据集和参数可分别在 data 文件夹和 conf 文件夹中进行自定义。
    • 如果上次训练过模型，可在 conf/train.yaml 中将 load_path 修改为上次保存的模型路径；同时可通过 log_dir 自定义训练日志的保存路径。

    python run.py
    

    步骤3 预测

    python predict.py
    

3. 属性抽取

• 属性抽取是从非结构化文本中提取实体属性的过程。

• 数据存储在 .csv 文件中。部分示例如下：

  句子	属性	实体	实体偏移量	值	值偏移量
  张冬梅，女，汉族，1968年2月生，河南淇县人	民族	张冬梅	0	汉族	6
  诸葛亮，字孔明，三国时期杰出的军事家、文学家、发明家。	朝代	诸葛亮	0	三国时期	8
  2014年10月1日许鞍华执导的电影《黄金时代》上映	上映时间	黄金时代	19	2014年10月1日	0

• 详细流程请参阅相应的 README 文件。

  • 标准模式（全监督）

    步骤1 进入 DeepKE/example/ae/standard 文件夹，下载数据集。

    wget 121.41.117.246:8080/Data/ae/standard/data.tar.gz
    
    tar -xzvf data.tar.gz
    

    步骤2 训练
    

    数据集和参数可分别在 data 文件夹和 conf 文件夹中进行自定义。

    python run.py
    

    步骤3 预测

    python predict.py
    

4. 事件抽取

• 事件抽取是从非结构化文本中提取事件类型、事件触发词和事件论元的任务。
• 数据存储在 .tsv 文件中，部分实例如下：

句子		事件类型	事件触发词	论元角色	论元
据《欧洲时报》报道，当地时间27日，法国巴黎卢浮宫博物馆员工因不满工作条件恶化而罢工，导致该博物馆也因此闭门谢客一天。		组织行为-罢工	罢工	罢工人员	法国巴黎卢浮宫博物馆员工
				时间	当地时间27日
				所属组织	法国巴黎卢浮宫博物馆
中国外运2019年上半年归母净利润增长17%：收购了少数股东股权		财经/交易-出售/收购	收购	出售方	少数股东
				收购方	中国外运
				交易物	股权
美国亚特兰大航展13日发生一起表演机坠机事故，飞行员弹射出舱并安全着陆，事故没有造成人员伤亡。		灾害/意外-坠机	坠机	时间	13日
				地点	美国亚特兰

• 详细流程请参阅具体的 README 文件。

  • STANDARD(完全监督)

    步骤1 进入 DeepKE/example/ee/standard 文件夹。下载数据集。

    wget 121.41.117.246:8080/Data/ee/DuEE.zip
    unzip DuEE.zip
    

    步骤2 训练

    数据集和参数可以分别在 data 文件夹和 conf 文件夹中进行自定义。

    python run.py
    

    步骤3 预测

    python predict.py
    

小贴士

1.使用最近的镜像, 在中国，清华大学 的镜像会加快 Anaconda 的安装速度；在中国，阿里云 的镜像会加快 pip install XXX 的速度。

2.当遇到 ModuleNotFoundError: No module named 'past' 时，请运行 pip install future。

3.在线安装预训练语言模型的速度较慢。建议提前下载预训练模型并将其保存在 pretrained 文件夹中。请阅读每个任务目录下的 README.md 文件，以了解保存预训练模型的具体要求。

4.DeepKE 的旧版本位于 deepke-v1.0 分支。用户可以通过切换分支来使用旧版本。旧版本已完全迁移到标准关系抽取任务中（example/re/standard）。

5.如果您想修改源代码，建议使用包含源代码的方式安装 DeepKE。否则，修改将无法生效。详情请参见 issue。

6.更多与低资源知识抽取相关的工作可以在 低资源场景下的知识抽取：综述与展望 中找到。

7.请确保 requirements.txt 中所列依赖项的版本准确无误。

待办事项

在下一版本中，我们计划发布一个更强大的用于知识抽取的大型语言模型。

同时，我们将提供长期维护服务，以 修复漏洞、解决各类问题 并满足 新需求。因此，如果您遇到任何问题，请随时向我们提交 issue。

阅读材料

数据高效的知识图谱构建，高效知识图谱构建 (CCKS 2022 教程) [幻灯片]

高效且稳健的知识图谱构建 (AACL-IJCNLP 2022 教程) [幻灯片]

PromptKG 家族：提示学习与知识图谱相关研究工作、工具包和论文列表 [资源]

低资源场景下的知识抽取：综述与展望 [综述][论文列表]

相关工具包

Doccano、MarkTool、LabelStudio: 数据标注工具包

LambdaKG: 一个基于预训练语言模型的知识图谱嵌入库及基准测试平台

EasyInstruct: 一个易于使用的框架，用于指导大型语言模型

阅读材料:

数据高效的知识图谱构建，高效知识图谱构建 (CCKS 2022 教程) [幻灯片]

高效且稳健的知识图谱构建 (AACL-IJCNLP 2022 教程) [幻灯片]

PromptKG 家族：提示学习与知识图谱相关研究工作、工具包和论文列表 [资源]

低资源场景下的知识抽取：综述与展望 [综述][论文列表]

相关工具包:

Doccano、MarkTool、LabelStudio: 数据标注工具包

LambdaKG: 一个基于预训练语言模型的知识图谱嵌入库及基准测试平台

EasyInstruct: 一个易于使用的框架，用于指导大型语言模型

引用

如果您在工作中使用了 DeepKE，请引用我们的论文：

@inproceedings{EMNLP2022_Demo_DeepKE,
  author    = {Ningyu Zhang and
               Xin Xu and
               Liankuan Tao and
               Haiyang Yu and
               Hongbin Ye and
               Shuofei Qiao and
               Xin Xie and
               Xiang Chen and
               Zhoubo Li and
               Lei Li},
  editor    = {Wanxiang Che and
               Ekaterina Shutova},
  title     = {DeepKE: {A} Deep Learning Based Knowledge Extraction Toolkit for Knowledge Base Population},
  booktitle = {{EMNLP} (Demos)},
  pages     = {98--108},
  publisher = {Association for Computational Linguistics},
  year      = {2022},
  url       = {https://aclanthology.org/2022.emnlp-demos.10}
}

贡献者

Ningyu Zhang, Haofen Wang, 黄飞, 熊飞宇, 陶连宽, 徐欣, 桂洪浩, 张振儒, 谭传奇, 陈强, 王晓涵, 席泽坤, 李新荣, 于海洋, 叶洪斌, 乔硕飞, 王鹏, 朱宇琪, 谢鑫, 陈翔, 李周波, 李磊, 梁晓专, 姚云志, 陈静, 朱宇琪, 罗雨洁, 邓淑敏, 张文, 郑国洲, 陈华军

社区贡献者：沈硕、邵周天、胡伟、thredreams、eltociear、徐子文、黄睿、翁小龙

其他知识抽取开源项目

• CogIE
• OpenNRE
• OmniEvent
• OpenUE
• OpenIE
• RESIN
• ZShot
• ZS4IE
• OmniEvent

DeepKE 快速上手指南

DeepKE 是一个基于深度学习的知识抽取工具包，支持实体、关系和属性抽取，涵盖低资源、文档级及多模态等多种场景。

1. 环境准备

• 操作系统：推荐使用 Linux。若使用 Windows，请注意在文件路径中使用 \\。
• Python 版本：
  • 标准版 DeepKE：推荐 Python 3.8
  • DeepKE-LLM（大模型版）：推荐 Python 3.9
• 依赖管理：建议使用 Anaconda 或 Miniconda 创建虚拟环境。
• 网络提示：若无法访问 HuggingFace，建议使用国内镜像源（如 wisemodel 或 modescape）。

2. 安装步骤

方案 A：标准版 DeepKE (源码安装推荐)

适用于传统深度学习模型（如 NER、关系抽取等）。

# 1. 克隆代码库
git clone --depth 1 https://github.com/zjunlp/DeepKE.git
cd DeepKE

# 2. 创建并激活虚拟环境
conda create -n deepke python=3.8
conda activate deepke

# 3. 安装依赖并配置环境
pip install -r requirements.txt
python setup.py install
python setup.py develop

注意：若直接使用 pip install deepke，请确保 pip 版本 <= 24.0，但更推荐上述源码安装方式。

方案 B：DeepKE-LLM (大模型版)

适用于结合大语言模型进行知识抽取的场景。

# 1. 创建专用虚拟环境
conda create -n deepke-llm python=3.9
conda activate deepke-llm

# 2. 进入示例目录并安装依赖
cd example/llm
pip install -r requirements.txt

方案 C：Docker 部署 (可选)

若希望自动配置环境，可使用项目提供的 dockerfile 构建镜像。

3. 基本使用

以下以全监督关系抽取任务为例，展示最简使用流程。

第一步：准备数据

进入任务目录并下载示例数据集（或使用自定义数据）：

cd DeepKE/example/re/standard

# 下载示例数据
wget 121.41.117.246:8080/Data/re/standard/data.tar.gz
tar -xzvf data.tar.gz

第二步：运行模型

在确保配置文件（通常在 conf 目录下）指向正确的数据路径后，运行训练或预测脚本。

# 运行训练 (具体脚本名称视子任务而定，通常为 train.py 或 main.py)
python train.py

# 运行预测
python predict.py

第三步：查看结果

预测结果通常输出在指定的 output 目录中，包含抽取出的三元组或实体信息。

---

更多资源：

• 在线演示：http://deepke.zjukg.cn
• 详细文档：https://zjunlp.github.io/DeepKE
• 大模型工具链：如需使用 MCP 服务工具，请参考 mcp-tools 目录下的说明。