图变换网络

本仓库实现了 图变换网络(GTN) 和 具有非局部操作的快速图变换网络 (FastGTN).

Seongjun Yun, Minbyul Jeong, Raehyun Kim, Jaewoo Kang, Hyunwoo J. Kim, 图变换网络，载于神经信息处理系统进展（NeurIPS 2019）。

Seongjun Yun, Minbyul Jeong, Sungdong Yoo, Seunghun Lee, Sean S, Yi, Raehyun Kim, Jaewoo Kang, Hyunwoo J. Kim, 图变换网络：通过学习元路径图来提升 GNN 性能，神经网络 2022。

更新

• [2022年9月19日] 我们发布了带有非局部操作的 FastGTN), 该版本在扩展性（Fast）和性能（非局部操作）方面均有所提升。
• [2022年9月19日] 我们更新了 GTN 的源代码，以解决最新版 torch_geometric 移除了稀疏矩阵乘法（spspmm）反向传播的问题。具体而言，我们使用包含反向传播功能的 pytorch.sparse.mm 实现了稀疏矩阵乘法。

安装

安装 PyTorch

安装 torch_geometric

若要运行旧版本的 GTN（位于 prev_GTN 文件夹中），请执行以下命令：

$ pip install torch-sparse-old

** 最新版的 torch_geometric 已移除稀疏矩阵乘法（spspmm）的反向传播功能，为了解决这一问题，我们在 pip 上以 torch-sparse-old 的名称上传了带有反向传播功能的旧版 torch-sparse。

数据预处理

我们使用了来自 异构图注意力网络（Xiao Wang 等人）的数据集，并将 acm 数据的预处理代码作为示例上传。

运行代码

*** 为了检验 GTN 在 DBLP 和 ACM 数据集上的最佳性能，我们建议在基于 DGL 库实现的 OpenHGNN 中运行 GTN。由于新引入的 torch.sparsemm 比现有的 torch_sparse.spspmm 需要更多的内存，因此在 DBLP 和 ACM 数据集中无法运行 num_layer > 1 的最佳情况。

$ mkdir data
$ cd data

从该链接下载数据集（DBLP、ACM、IMDB），并将 data.zip 解压到 data 文件夹中。

$ cd ..

• DBLP

  • GTN

  $ python main.py --dataset DBLP --model GTN --num_layers 1 --epoch 50 --lr 0.02 --num_channels 2
  

  • FastGTN
  1. 使用非局部操作（>24 GB）

  $ python main.py --dataset DBLP --model FastGTN --num_layers 4 --epoch 100 --lr 0.02 --channel_agg mean --num_channels 2 --non_local_weight 0 --K 3   --non_local
  

  2. 不使用非局部操作

  $ python main.py --dataset DBLP --model FastGTN --num_layers 4 --epoch 100 --lr 0.02 --channel_agg mean --num_channels 2
  

• ACM

  • GTN

  $ python main_gpu.py --dataset ACM --model GTN --num_layers 1 --epoch 100 --lr 0.02 --num_channels 2
  

  • FastGTN
  1. 使用非局部操作

  $ python main_gpu.py --dataset ACM --model FastGTN --num_layers 3 --epoch 200 --lr 0.05 --channel_agg mean --num_channels 2 --non_local_weight -1 --K 1 --non_local
  

  2. 不使用非局部操作

  $ python main_gpu.py --dataset ACM --model FastGTN --num_layers 3 --epoch 200 --lr 0.05 --channel_agg mean --num_channels 2
  

• IMDB

  • GTN

  $ python main.py --dataset IMDB --model GTN --num_layers 2 --epoch 50 --lr 0.02 --num_channels 2
  

  • FastGTN
  1. 使用非局部操作

  $ python main.py --dataset IMDB --model FastGTN --num_layers 3 --epoch 50 --lr 0.02 --channel_agg mean --num_channels 2 --non_local_weight -2 --K 2 --non_local
  

  2. 不使用非局部操作

  $ python main.py --dataset IMDB --model FastGTN --num_layers 3 --epoch 50 --lr 0.02 --channel_agg mean --num_channels 2
  

引用

如果这项工作对您的研究有所帮助，请引用我们的 GTN 和 FastGTN:

@inproceedings{yun2019GTN,
  title={图变换网络},
  author={Yun, Seongjun and Jeong, Minbyul and Kim, Raehyun and Kang, Jaewoo and Kim, Hyunwoo J},
  booktitle={神经信息处理系统进展},
  pages={11960--11970},
  year={2019}
}

@article{yun2022FastGTN,
title = {图变换网络：学习元路径图以改进 GNN},
journal = {神经网络},
volume = {153},
pages = {104-119},
year = {2022},
}

Graph Transformer Networks (GTN) 快速上手指南

本指南帮助中国开发者快速部署并运行 Graph Transformer Networks (GTN) 及其改进版 FastGTN。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置 WSL 或特定编译环境)
• Python: 3.6+
• GPU: 推荐使用 NVIDIA GPU 以加速训练（可选，但推荐）
• 前置依赖:
  • PyTorch
  • PyTorch Geometric

国内加速建议：安装 PyTorch 和 torch_geometric 时，建议使用清华或中科大镜像源以提升下载速度。 例如安装 torch_geometric 及相关依赖：

pip install torch-scatter torch-sparse torch-cluster torch-spline-conv torch-geometric -f https://data.pyg.org/whl/torch-1.9.0+cu111.html
# 若上述链接访问慢，可尝试手动下载 whl 文件后本地安装，或使用国内镜像代理。

2. 安装步骤

2.1 安装基础依赖

首先安装 PyTorch（请根据您的 CUDA 版本选择对应命令，以下为示例）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

接着安装 PyTorch Geometric 及其底层库：

pip install torch-scatter torch-sparse torch-cluster torch-spline-conv torch-geometric

2.2 处理稀疏矩阵反向传播问题

由于最新版的 torch_geometric 移除了稀疏矩阵乘法 (spspmm) 的反向传播支持，本项目提供了一个兼容包。如果您需要运行旧版 GTN 代码（位于 prev_GTN 文件夹），请安装：

pip install torch-sparse-old

注：新版代码已使用 pytorch.sparse.mm 重写以解决此问题，通常无需额外安装旧版库即可运行主程序。

2.3 获取项目代码

克隆仓库并进入目录：

git clone https://github.com/seongjunyun/Graph_Transformer_Networks.git
cd Graph_Transformer_Networks

2.4 数据准备

创建数据目录并下载数据集（DBLP, ACM, IMDB）：

mkdir data
cd data
# 请手动从 Google Drive 链接下载 data.zip 并解压到当前目录
# 链接：https://drive.google.com/file/d/1Nx74tgz_-BDlqaFO75eQG6IkndzI92j4/view?usp=sharing
unzip data.zip
cd ..

(注：若无法访问 Google Drive，请自行寻找国内网盘搬运资源或联系作者获取)

3. 基本使用

以下是最简单的运行示例，分别在 DBLP、ACM 和 IMDB 数据集上运行基础 GTN 模型。

3.1 运行 DBLP 数据集

python main.py --dataset DBLP --model GTN --num_layers 1 --epoch 50 --lr 0.02 --num_channels 2

3.2 运行 ACM 数据集

注意：ACM 数据集较大，建议使用 main_gpu.py 脚本。

python main_gpu.py --dataset ACM --model GTN --num_layers 1 --epoch 100 --lr 0.02 --num_channels 2

3.3 运行 IMDB 数据集

python main.py --dataset IMDB --model GTN --num_layers 2 --epoch 50 --lr 0.02 --num_channels 2

3.4 进阶：运行 FastGTN (带非局部操作)

如果您拥有显存大于 24GB 的 GPU，可以尝试性能更强的 FastGTN 模型（以 DBLP 为例）：

python main.py --dataset DBLP --model FastGTN --num_layers 4 --epoch 100 --lr 0.02 --channel_agg mean --num_channels 2 --non_local_weight 0 --K 3 --non_local

提示：对于 DBLP 和 ACM 数据集，若需复现论文最佳性能且层数 num_layers > 1，官方推荐使用基于 DGL 库实现的 OpenHGNN，因为当前 PyTorch Sparse 实现占用显存较大。