通用图变换器自注意力网络

本项目提供了我们提出的图变换器 UGformer 的实现，相关介绍详见我们的论文。在该工作中，我们利用变换器自注意力网络，在有监督的归纳式场景和无监督的直推式场景中学习图表示。

变体 1	变体 2

使用说明

新闻

• 2022年3月5日：我们的图变换器论文已被 ACM Web Conference 2022 的海报与演示环节接收。

• 2021年8月20日：发布 PyTorch 实现，用于将变体 2 应用于归纳式文本分类任务。

• 2021年5月4日：发布 PyTorch 1.5.0 版本的实现（即变体 2），以在所有输入节点上应用变换器。

• 2020年5月17日：发布 PyTorch 1.5.0 版本的实现。

• 2019年12月11日：发布 TensorFlow 1.14 版本的实现，适用于有监督的归纳式场景和无监督的直推式场景。

训练

• 变体 1：在每个节点的采样邻居上应用变换器：

    $ python train_UGformerV1_Sup.py --dataset IMDBBINARY --batch_size 4 --ff_hidden_size 1024 --fold_idx 1 --num_neighbors 8 --num_epochs 50 --num_timesteps 4 --learning_rate 0.0005 --model_name IMDBBINARY_bs4_fold1_1024_8_idx0_4_1
  

• 变体 2：直接在输入图的所有节点上应用变换器：

    $ python train_UGformerV2.py --dataset PTC --ff_hidden_size 1024 --fold_idx 1 --num_epochs 50 --num_timesteps 3 --learning_rate 0.0005 --model_name PTC_fold1_1024_idx0_1
    
  

• 将变体 2 应用于归纳式文本分类：

    $ python train_TextGNN.py --dataset mr --learning_rate 0.0001 --batch_size 4096 --num_epochs 150 --num_GNN_layers 2 --hidden_size 384 --model GatedGT
  

• 将无监督的直推式设置应用于图分类：

    TensorFlow: $ python train_UGformerV1_UnSup.py --dataset PTC --batch_size 2 --degree_as_tag --ff_hidden_size 1024 --num_neighbors 4 --num_sampled 512 --num_epochs 50 --num_timesteps 2 --learning_rate 0.0001 --model_name PTC_bs2_dro05_1024_4_idx0_2_2
    
    PyTorch: $ python train_UGformerV1_UnSup.py --dataset PTC --batch_size 2 --ff_hidden_size 1024 --num_neighbors 4 --sampled_num 512 --num_epochs 50 --num_timesteps 2 --learning_rate 0.0001 --model_name PTC_bs2_dro05_1024_4_idx0_2_2
  

系统要求

• Python 3.x
• Tensorflow 1.14 和 Tensor2tensor 1.13
• PyTorch ≥ 1.5.0
• Networkx 2.3
• Scikit-learn 0.21.2

引用

每当使用我们的图变换器生成已发表的结果或将之集成到其他软件中时，请引用以下论文：

@inproceedings{NguyenUGformer,
	author={Dai Quoc Nguyen and Tu Dinh Nguyen and Dinh Phung},
	title={Universal Graph Transformer Self-Attention Networks},
	booktitle={Companion Proceedings of the Web Conference 2022 (WWW '22 Companion)},
	year={2022}
}

许可证

作为一款免费的开源实现，Graph-Transformer 按“现状”提供，不提供任何形式的明示或暗示的保证或条件。包括但不限于适销性和特定用途适用性的任何其他保证，无论是明示、暗示，还是根据法律、交易惯例或行业习惯产生的，均在此被明确排除。我确信这些程序能够完成其所宣称的功能，但并不对此作出任何保证。这些程序的文档可能不够完善且不一致，也可能包含未记录的组件、功能或修改。我无法保证这些程序适用于任何特定的应用场景。

Graph-Transformer 采用 Apache License 2.0 许可协议。

Graph-Transformer (UGformer) 快速上手指南

Graph-Transformer (UGformer) 是一个基于 Transformer 自注意力机制的通用图神经网络模型，支持在有监督归纳式和无监督直推式设置下学习图表示。本项目提供了 TensorFlow 和 PyTorch 两种实现版本。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python: 3.x
• 深度学习框架 (二选一或全选):
  • TensorFlow 1.14 + Tensor2Tensor 1.13
  • PyTorch >= 1.5.0
• 其他依赖:
  • Networkx 2.3
  • Scikit-learn 0.21.2

提示：国内用户建议使用清华源或阿里源加速 Python 包的安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/daiquocnguyen/U2GNN.git
   cd U2GNN
   

2. 安装 Python 依赖 建议先创建虚拟环境，然后安装所需库。由于项目较老，部分库版本需严格匹配。

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple networkx==2.3 scikit-learn==0.21.2
   

   • 若使用 PyTorch 版本 (推荐 Variant 2):

     pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch>=1.5.0 torchvision
     

   • 若使用 TensorFlow 版本 (Variant 1 无监督模式等):

     pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.14 tensor2tensor==1.13
     

基本使用

以下提供最常用的训练示例。请根据您的数据集和需求选择对应的变体。

场景 1：有监督图分类 (PyTorch - Variant 2)

直接在输入图的所有节点上利用 Transformer 进行训练（以 PTC 数据集为例）：

python train_UGformerV2.py --dataset PTC --ff_hidden_size 1024 --fold_idx 1 --num_epochs 50 --num_timesteps 3 --learning_rate 0.0005 --model_name PTC_fold1_1024_idx0_1

场景 2：有监督图分类 (PyTorch - Variant 1)

在每个节点的采样邻居上利用 Transformer 进行训练（以 IMDBBINARY 数据集为例）：

python train_UGformerV1_Sup.py --dataset IMDBBINARY --batch_size 4 --ff_hidden_size 1024 --fold_idx 1 --num_neighbors 8 --num_epochs 50 --num_timesteps 4 --learning_rate 0.0005 --model_name IMDBBINARY_bs4_fold1_1024_8_idx0_4_1

场景 3：归纳式文本分类 (PyTorch)

应用 Variant 2 进行文本分类任务（以 mr 数据集为例）：

python train_TextGNN.py --dataset mr --learning_rate 0.0001 --batch_size 4096 --num_epochs 150 --num_GNN_layers 2 --hidden_size 384 --model GatedGT

场景 4：无监督直推式图分类

TensorFlow 实现:

python train_UGformerV1_UnSup.py --dataset PTC --batch_size 2 --degree_as_tag --ff_hidden_size 1024 --num_neighbors 4 --num_sampled 512 --num_epochs 50 --num_timesteps 2 --learning_rate 0.0001 --model_name PTC_bs2_dro05_1024_4_idx0_2_2

PyTorch 实现:

python train_UGformerV1_UnSup.py --dataset PTC --batch_size 2 --ff_hidden_size 1024 --num_neighbors 4 --sampled_num 512 --num_epochs 50 --num_timesteps 2 --learning_rate 0.0001 --model_name PTC_bs2_dro05_1024_4_idx0_2_2

注意：运行前请确保当前目录下存在对应的数据集文件夹，或根据代码逻辑修改数据加载路径。