Graph4NLP

Graph4NLP 是一款易于使用的库，专为图深度学习与自然语言处理（即 DLG4NLP）的交叉领域研发而设计。它既提供了面向数据科学家的最新前沿模型的完整实现，又提供了灵活的接口，方便研究人员和开发者构建定制化模型，并提供完整的全流程支持。基于高度优化的运行时库，包括 DGL，Graph4NLP 既拥有卓越的运行效率，又具备强大的扩展性。Graph4NLP 的架构如图所示：虚线框代表正在开发的功能模块。Graph4NLP 由四个不同的层次组成：1）数据层、2）模块层、3）模型层，以及 4）应用层。

图：Graph4NLP 整体架构

Graph4NLP 新闻

2022年1月20日： v0.5.5 版本发布！快来试用吧！
2021年9月26日： v0.5.1 版本发布！快来试用吧！
2021年9月1日： 欢迎访问我们的 DLG4NLP 网站（https://dlg4nlp.github.io/index.html），获取丰富的学习资源！
2021年6月5日： v0.4.1 版本发布！

主要版本

版本	发布日期	功能特性
v0.5.5	2022-01-20	- 支持 model.predict API，通过引入包装函数实现。 - 新增三个新的推理包装函数：classifier_inference_wrapper、generator_inference_wrapper、generator_inference_wrapper_for_tree。 - 在每个应用中新增推理及推理前处理示例。 - 将图拓扑结构与图嵌入过程分离。 - 对所有图构造函数进行更新。 - 模块化图嵌入被拆分为图嵌入初始化和图嵌入学习。 - 统一了数据集中的参数。我们移除了模棱两可的参数“graph_type”，并引入了“graph_name”，用于标识图构造方法，以及“static_or_dynamic”，用于指示图的静态或动态构造类型。 - 新功能：数据集现在可以通过一个参数“graph_name”自动选择默认方法（例如“topology_builder”）。
v0.5.1	2021-09-26	- 代码 lint 检查 - 支持使用用户自己的数据进行测试 - 修复了一个错误：在 0.4.1 版本中，词嵌入大小被硬编码。现在其值等于“word_emb_size”参数。 - 修复了一个错误：在 0.4.1 版本中，build_vocab() 被调用了两次。 - 修复了一个错误：知识图谱补全示例的两个主文件在恢复模型训练时，遗漏了可选参数“kg_graph”。 - 修复了一个错误：我们已修正了 KGC 阅读指南中预处理路径的错误。 - 修复了一个错误：我们在设置 emb_strategy 为 ‘w2v’ 时，修复了嵌入构造的错误。
v0.4.1	2021-06-05	- 支持 Graph4NLP 的全流程 - GraphData 和 Dataset 支持

快速入门

Graph4nlp 致力于让 NLP 任务中的 GNN 使用变得极其简单（请参阅 Graph4NLP 文档）。以下是一个使用 Graph2seq 模型的示例（该模型广泛应用于机器翻译、问答、语义解析以及各种其他 NLP 任务，这些任务均可抽象为图到序列的问题，并且取得了优异的性能）。

此外，我们还提供其他高级模型 API，例如图到树模型。如果您对 DLG4NLP 相关的研究课题感兴趣，欢迎随时使用我们的库，并参考我们的 graph4nlp 调研报告。

from graph4nlp.pytorch.datasets.jobs import JobsDataset
from graph4nlp.pytorch.modules.graph_construction.dependency_graph_construction import DependencyBasedGraphConstruction
from graph4nlp.pytorch.modules.config import get_basic_args
from graph4nlp.pytorch.models.graph2seq import Graph2Seq
from graph4nlp.pytorch.modules.utils.config_utils import update_values, get_yaml_config

# 构建数据集
jobs_dataset = JobsDataset(root_dir='graph4nlp/pytorch/test/dataset/jobs',
                           topology_builder=DependencyBasedGraphConstruction,
                           topology_subdir='DependencyGraph')  # 您应后台运行斯坦福核心词法分析器
vocab_model = jobs_dataset.vocab_model

# 构建模型
user_args = get_yaml_config("examples/pytorch/semantic_parsing/graph2seq/config/dependency_gcn_bi_sep_demo.yaml")
args = get_basic_args(graph_construction_name="node_emb", graph_embedding_name="gat", decoder_name="stdrnn")
update_values(to_args=args, from_args_list=[user_args])
graph2seq = Graph2Seq.from_args(args, vocab_model)

# 计算
batch_data = JobsDataset.collate_fn(jobs_dataset.train[0:12])

scores = graph2seq(batch_data["graph_data"], batch_data["tgt_seq"])  # [Batch_size, seq_len, Vocab_size]

概述

我们的 Graph4NLP 计算流程如下所示。

Graph4NLP 模型与应用

Graph4NLP 模型

• Graph2Seq：一种通用的端到端神经编码解码模型，可将输入图映射为一串标记序列。
• Graph2Tree：一种通用的端到端神经编码解码模型，可将输入图映射为一棵树结构。

Graph4NLP 应用场景

我们提供了一套全面的 NLP 应用方案，并附有详细的示例：

• 文本分类：为句子或文档赋予恰当的标签。
• 语义解析：将自然语言转换为机器可理解的正式语义表示。
• 神经机器翻译：将源语言中的句子翻译成目标语言。
• 摘要生成：自动生成输入文本的简短版本，同时保留其主要含义。
• 知识图谱补全：预测已知知识图谱中两个现有实体之间的缺失关系。
• 数学应用题求解：以通俗易懂的语言，自动解答提供问题背景信息的数学练习题。
• 人名实体识别：对输入文本中的实体进行标注，并为其指定相应的类型。
• 问题生成：根据给定的文段和目标答案（可选），生成有效且流畅的问题。

性能表现

环境：PyTorch 1.8，Ubuntu 16.04，配备 2080Ti GPU

任务	数据集	GNN 模型	图结构构建	评估指标	性能表现
文本分类	TRECT CAirline CNSST	GAT	依赖关系 构成关系 依赖关系	准确率	0.948 0.785 0.538
语义解析	JOBS	SAGE	构成关系	执行准确率	0.936
问题生成	SQuAD	GGNN	依赖关系	BLEU-4	0.15175
机器翻译	IWSLT14	GCN	动态调整	BLEU-4	0.3212
摘要生成	CNN(30k)	GCN	依赖关系	ROUGE-1	26.4
知识图谱补全	Kinship	GCN	依赖关系	MRR	82.4
数学应用题求解	MAWPS	SAGE	动态调整	解决准确率	76.4

安装方法

目前，用户可通过 pip 或 源代码 安装 Graph4NLP。Graph4NLP 支持以下操作系统：

• 基于 Linux 的系统（已在 Ubuntu 18.04 及更高版本上测试）
• macOS（仅支持 CPU 版本）
• Windows 10（仅支持 PyTorch >= 1.8）

使用 pip 安装（二进制包）

我们为所有主流操作系统、PyTorch 和 CUDA 组合提供了 pip 轮子文件。请注意，我们强烈建议 Windows 用户参考“通过源代码安装”方式，以确保兼容性。

确保已安装至少 PyTorch (>=1.6.0)：

注意，>=1.6.0 即可。

$ python -c "import torch; print(torch.__version__)"
>>> 1.6.0

查找 PyTorch 的 CUDA 版本（适用于 GPU 用户）：

$ python -c "import torch; print(torch.version.cuda)"
>>> 10.2

安装相关依赖项：

Graph4NLP 依赖 torchtext 来实现嵌入式功能。在安装 torchtext 之前，请务必仔细查看 PyTorch 的依赖要求！如需详细版本匹配，请参阅 这里。

pip install torchtext # >=0.7.0

安装 Graph4NLP

pip install graph4nlp${CUDA}

其中 ${CUDA} 应替换为具体的 CUDA 版本（none（CPU 版本）、"-cu92"、"-cu101"、"-cu102"、"-cu110"）。下表列出了具体的命令行操作。对于 CUDA 11.1 用户，请参考“通过源代码安装”。

平台	命令
CPU	pip install graph4nlp
CUDA 9.2	pip install graph4nlp-cu92
CUDA 10.1	pip install graph4nlp-cu101
CUDA 10.2	pip install graph4nlp-cu102
CUDA 11.0	pip install graph4nlp-cu110

通过源代码安装

确保已安装至少 PyTorch (>=1.6.0)：

注意，>=1.6.0 即可。

$ python -c "import torch; print(torch.__version__)"
>>> 1.6.0

查找 PyTorch 的 CUDA 版本（适用于 GPU 用户）：

$ python -c "import torch; print(torch.version.cuda)"
>>> 10.2

安装相关依赖项：

Graph4NLP 依赖 torchtext 来实现嵌入式功能。在安装 torchtext 之前，请务必仔细查看 PyTorch 的依赖要求！如需详细版本匹配，请参阅 这里。

pip install torchtext # >=0.7.0

从 GitHub 下载 Graph4NLP 的源代码：

git clone https://github.com/graph4ai/graph4nlp.git
cd graph4nlp

配置 CUDA 版本

随后运行 ./configure（如果使用 Windows 10，则运行 ./configure.bat）以完成安装配置。配置工具会提示您指定 CUDA 版本。如果您没有 GPU，请输入 cpu。

./configure

安装相关软件包：

最后，安装该软件包：

python setup.py install

用于超参数调优

我们展示了常被调优的一些超参数 此处。

初学者如何学习基于图的深度学习在自然语言处理中的应用？

如果您想深入了解如何将图神经网络技术应用于自然语言处理任务，欢迎访问我们的 DLG4NLP 网站（https://dlg4nlp.github.io/index.html），这里提供丰富的学习资源！您还可以参考我们的调查论文，该论文对这一现有研究方向进行了全面概述。如需查阅我们库中更详尽的参考资料，请参阅我们的文档。

• 文档：文档
• Graph4NLP 调查：Graph4NLP 调查
• Graph4NLP 教程：
  • Graph4NLP-NAACL'21、SIGIR'21、IJCAI'21、KDD'21
  • SyncedReview 邀请的中文演讲 (视频（密码：wppp），幻灯片（密码：flwv）)
• Graph4NLP 研讨会：
  • DLG4NLP-ICLR'22
• Graph4NLP 演示：演示
• Graph4NLP 文献综述：文献列表

贡献

如果您发现错误或有任何建议，请通过提交问题报告告知我们。 我们欢迎从修复错误到开发新功能和扩展的所有贡献。 我们期望所有贡献都能在问题跟踪器中进行讨论，并通过 PR 进行提交。

引用

如果您觉得这段代码很有用，请考虑引用以下论文。

• [1] 吴凌飞、陈宇、沈凯、郭晓杰、高汉宁、李树成、裴健和龙波。【“面向自然语言处理的图神经网络：综述”】（https://arxiv.org/abs/2106.06090）。
• [2] 【NeurIPS 2020】陈宇、吴凌飞和穆罕默德·J·扎基，【“用于图神经网络的迭代深度图学习：更优且更鲁棒的节点嵌入”】（https://arxiv.org/abs/2006.13009）。
• [3] 【ICLR 2020】陈宇、吴凌飞和穆罕默德·J·扎基，【“基于强化学习的图到序列模型用于自然问题生成”】（https://arxiv.org/abs/1908.04942）。
• [4] 许坤、吴凌飞、王志国、冯彦松、迈克尔·维特布罗克和瓦迪姆·谢宁，【“Graph2Seq：利用注意力机制的神经网络实现图到序列的学习”】（https://arxiv.org/abs/1804.00823）。
• [5] 【EMNLP 2020】李树成、吴凌飞、冯世伟、徐芳丽、徐凤元和盛中，【“用于结构化输入输出翻译的学习的图到树神经网络——兼及语义解析与数学应用题的案例研究”】（https://aclanthology.org/2020.findings-emnlp.255.pdf）。
• [6] 【ACL 2020】黄路阳、吴凌飞和王璐，【“基于语义驱动的填空奖励的知识图增强摘要生成”】（https://arxiv.org/abs/2005.01159）。
• [7] 【EMNLP 2018】吴凌飞、伊恩·E·H·严、许坤、徐芳丽、阿维纳什·巴拉克里希南、陈品玉、普拉迪普·拉维库马尔和迈克尔·J·维特布罗克，【“词迁移嵌入：从 Word2Vec 到文档嵌入”】（https://arxiv.org/abs/1811.01713）。
• [8] 【IJCAI 2020】陈宇、吴凌飞和穆罕默德·J·扎基，【“GraphFlow：利用图神经网络挖掘对话流，实现对话式机器理解”】（https://www.ijcai.org/Proceedings/2020/171）。
• [9] 【IJCAI 2020】沈凯、吴凌飞、徐芳丽、唐思亮、肖俊和庄月婷，【“基于层次注意力的空间-时间图到序列学习用于落地视频描述”】（https://www.ijcai.org/Proceedings/2020/171）。
• [10] 【IJCAI 2020】高汉宁、吴凌飞、胡博和徐芳丽，【“利用图增强的结构化神经编码器进行 RDF 到文本生成”】（https://www.ijcai.org/Proceedings/2020/419）。

@article{wu2021graph,
  title={面向自然语言处理的图神经网络：综述},
  author={吴凌飞、陈宇、沈凯、郭晓杰、高汉宁、李树成、裴健和龙波},
  journal={arXiv预印本 arXiv:2106.06090},
  year={2021}
}

@inproceedings{chen2020iterative,
  title={用于图神经网络的迭代深度图学习：更优且更鲁棒的节点嵌入},
  author={陈宇、吴凌飞和扎基，穆罕默德·J.},
  booktitle={第34届神经信息处理系统会议论文集},
  month={12月6日至12日},
  year={2020}
}

@inproceedings{chen2020reinforcement,
  author    = {陈宇、吴凌飞和扎基，穆罕默德·J.},
  title     = {基于强化学习的图到序列模型用于自然问题生成},
  booktitle = {第8届国际表示学习会议论文集},
  month = {4月26日至30日},
  year      = {2020}
}

@article{xu2018graph2seq,
  title={Graph2seq：利用注意力机制的神经网络实现图到序列的学习},
  author={许坤、吴凌飞、王志国、冯彦松、维特布罗克，迈克尔和谢宁，瓦迪姆},
  journal={arXiv预印本 arXiv:1804.00823},
  year={2018}
}

@inproceedings{li-etal-2020-graph-tree,
    title = {用于结构化输入输出翻译的学习的图到树神经网络——兼及语义解析与数学应用题的案例研究},
    author = {李树成、吴凌飞、冯世伟、徐芳丽、徐凤元和盛中},
    booktitle = {Association for Computational Linguistics：EMNLP 2020会议论文集},
    month = {11月},
    year = {2020}
}

@inproceedings{huang-etal-2020-knowledge,
    title = {基于语义驱动的填空奖励的知识图增强摘要生成},
    author = {黄路阳、吴凌飞和王璐},
    booktitle = {第58届计算语言学协会年会论文集},
    month = {7月},
    year = {2020},
    pages = {5094–5107}
}

@inproceedings{wu-etal-2018-word,
    title = {词迁移嵌入：从 Word2Vec 到文档嵌入},
    author = {吴凌飞、严伊恩·恩秀、许坤、徐芳丽、巴拉克里希南、陈品玉、拉维库马尔和维特布罗克，迈克尔·J.},
    booktitle = {2018年自然语言处理实证方法大会论文集},
    pages = {4524–4534},
    year = {2018}
}

@inproceedings{chen2020graphflow,
  author    = {陈宇、吴凌飞和穆罕默德·J·扎基},  
title     = {GraphFlow：利用图神经网络挖掘对话流，实现对话式机器理解},
  booktitle = {第29届国际联合人工智能会议论文集，IJCAI 2020},
  publisher = {国际联合人工智能组织},
  pages     = {1230–1236},
  year      = {2020}
}  

@inproceedings{shen2020hierarchical,
  title={基于层次注意力的空间-时间图到序列学习用于落地视频描述},
  author={沈凯、吴凌飞、徐芳丽、唐思亮、肖俊和庄月婷},
  booktitle = {第29届国际联合人工智能会议，IJCAI 2020},
  publisher = {国际联合人工智能组织},
  pages     = {941–947},
  year      = {2020}
}  

@inproceedings{ijcai2020-419,
  title     = {利用图增强的结构化神经编码器进行 RDF 到文本生成},
  author    = {高汉宁、吴凌飞、胡博和徐芳丽},
  booktitle = {第29届国际联合人工智能会议，IJCAI-20},
  publisher = {国际联合人工智能组织},
  pages     = {3030–3036},
  year      = {2020}
}

团队

Graph4AI 团队：【吴凌飞】（团队负责人）、陈宇、沈凯、郭晓杰、高汉宁、李树成、王赛卓、刘晓以及胡静。我们热衷于开发实用的开源库，旨在推动自然语言处理领域中各类图神经网络技术的易用性。我们的团队由来自不同行业和学术界的科研人员、应用数据科学家以及研究生组成，其中包括 Pinterest 的吴凌飞、浙江大学的沈凯、Facebook AI 的陈宇、IBM T.J. 沃森研究中心的郭晓杰、同济大学的高汉宁、南京大学的李树成以及香港科技大学的王赛卓。

联系方式

如果您有任何技术问题，请提交新问题。

如您有其他疑问，请联系以下人员：【吴凌飞】（https://sites.google.com/a/email.wm.edu/teddy-lfwu/home）【**lwu@email.wm.edu**】，以及郭晓杰【**xiaojie.guo@jd.com**】。

许可证

Graph4NLP 采用 Apache 许可证 2.0 版本。

Graph4NLP 快速上手指南

Graph4NLP 是一个易于使用的库，专为图深度学习与自然语言处理（DLG4NLP）交叉领域的研发设计。它基于高度优化的 DGL 运行时库，既提供了最先进模型的全量实现，也提供了灵活的接口供研究者构建自定义模型。

1. 环境准备

系统要求

Graph4NLP 支持以下操作系统：

• Linux: Ubuntu 18.04 及更高版本（推荐）
• macOS: 仅支持 CPU 版本
• Windows: Windows 10（仅支持 PyTorch >= 1.8，建议通过源码安装以获得最佳兼容性）

前置依赖

在开始之前，请确保已安装以下基础环境：

• Python: 3.6+
• PyTorch: >= 1.6.0 (推荐 1.8+)
• CUDA: 如需使用 GPU，请确保 CUDA 版本与 PyTorch 匹配

2. 安装步骤

第一步：验证 PyTorch 环境

首先确认 PyTorch 已正确安装及其版本信息。

python -c "import torch; print(torch.__version__)"
# 输出应 >= 1.6.0

# 如果是 GPU 用户，检查 CUDA 版本
python -c "import torch; print(torch.version.cuda)"

第二步：安装依赖库

Graph4NLP 依赖 torchtext 来实现嵌入层功能。请注意版本匹配（通常需 >=0.7.0）。

国内加速提示：建议使用清华或阿里镜像源加速安装。

pip install torchtext -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：安装 Graph4NLP

可以通过 pip 直接安装二进制包（推荐 Linux/Mac 用户），Windows 用户若遇兼容性问题建议采用源码安装。

方式 A：通过 pip 安装

pip install graph4nlp -i https://pypi.tuna.tsinghua.edu.cn/simple

方式 B：通过源码安装（推荐 Windows 用户或需要最新特性者）

git clone https://github.com/graph4ai/graph4nlp.git
cd graph4nlp
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

以下示例演示了如何使用 Graph2Seq 模型（广泛应用于机器翻译、问答等任务）构建一个简单的流水线，包含数据集加载、图构建、模型初始化及前向计算。

注意：运行此示例前，需确保后台已启动 Stanford CoreNLP 服务以进行依存句法分析。

from graph4nlp.pytorch.datasets.jobs import JobsDataset
from graph4nlp.pytorch.modules.graph_construction.dependency_graph_construction import DependencyBasedGraphConstruction
from graph4nlp.pytorch.modules.config import get_basic_args
from graph4nlp.pytorch.models.graph2seq import Graph2Seq
from graph4nlp.pytorch.modules.utils.config_utils import update_values, get_yaml_config

# 1. 构建数据集
# topology_builder 指定图构建方法，此处使用基于依存句法的图构建
jobs_dataset = JobsDataset(root_dir='graph4nlp/pytorch/test/dataset/jobs',
                           topology_builder=DependencyBasedGraphConstruction,
                           topology_subdir='DependencyGraph')  
vocab_model = jobs_dataset.vocab_model

# 2. 构建模型
# 加载配置文件并合并参数
user_args = get_yaml_config("examples/pytorch/semantic_parsing/graph2seq/config/dependency_gcn_bi_sep_demo.yaml")
args = get_basic_args(graph_construction_name="node_emb", graph_embedding_name="gat", decoder_name="stdrnn")
update_values(to_args=args, from_args_list=[user_args])

# 初始化 Graph2Seq 模型
graph2seq = Graph2Seq.from_args(args, vocab_model)

# 3. 数据预处理与计算
# 整理批次数据
batch_data = JobsDataset.collate_fn(jobs_dataset.train[0:12])

# 执行前向传播
# 输入：图数据，目标序列；输出：预测分数 [Batch_size, seq_len, Vocab_size]
scores = graph2seq(batch_data["graph_data"], batch_data["tgt_seq"])

核心功能概览

Graph4NLP 内置了多种主流模型与应用场景：

• 核心模型: Graph2Seq (图到序列), Graph2Tree (图到树)
• 支持任务: 文本分类、语义解析、机器翻译、文本摘要、知识图谱补全、数学应用题求解、命名实体识别、问题生成等。

更多详细配置与高级用法请参考官方文档或 examples 目录下的具体案例。