图Transformer架构

本仓库包含论文“Transformer网络在图上的泛化”的源代码，该论文由 Vijay Prakash Dwivedi 和 Xavier Bresson_ 撰写，发表于 AAAI'21图深度学习：方法与应用研讨会（DLG-AAAI'21）。

我们提出了一种适用于任意图的Transformer神经网络架构的泛化版本：图Transformer。
与标准Transformer相比，所提出的架构的主要特点如下：

• 注意力机制是基于图中每个节点的邻域连接关系定义的。
• 位置编码由拉普拉斯矩阵的特征向量表示，这自然地推广了NLP领域常用的正弦位置编码。
• 层归一化被批归一化层所取代。
• 该架构扩展为支持边表示，这对于那些边信息丰富或涉及成对交互的任务至关重要，例如分子中的键类型、知识图谱中的关系类型等。

图: 图Transformer架构框图

1. 仓库安装

本项目基于benchmarking-gnns仓库。

请按照这些说明安装基准测试工具并配置环境。

2. 下载数据集

请按照此处步骤下载用于评估图Transformer的数据集。

3. 结果复现

请使用此页面运行代码，以复现已发表的结果。

4. 参考文献

:page_with_curl: 论文在arXiv上
:pencil: 博客在Towards Data Science上
:movie_camera: 视频在YouTube上

@article{dwivedi2021generalization,
  title={A Generalization of Transformer Networks to Graphs},
  author={Dwivedi, Vijay Prakash and Bresson, Xavier},
  journal={AAAI Workshop on Deep Learning on Graphs: Methods and Applications},
  year={2021}
}

Graph Transformer 快速上手指南

Graph Transformer 是一种将 Transformer 架构泛化到任意图结构的神经网络模型。相比标准 Transformer，它利用图的邻接关系构建注意力机制，并使用拉普拉斯特征向量作为位置编码，特别适用于分子属性预测、知识图谱等富含边信息的任务。

环境准备

本项目基于 benchmarking-gnns 框架开发，请确保满足以下前置条件：

• 操作系统: Linux 或 macOS (Windows 需使用 WSL)
• Python: 3.7 或更高版本
• PyTorch: 建议安装与 CUDA 版本匹配的最新版
• DGL (Deep Graph Library): 必须安装，用于图数据处理

推荐依赖安装命令：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install dgl -f https://data.dgl.ai/wheels/repo.html
pip install numpy scipy pandas scikit-learn

提示：国内用户可使用清华或阿里镜像源加速 PyTorch 和 DGL 的安装。

安装步骤

由于该项目依赖于 benchmarking-gnns 基准测试库，请按以下步骤克隆并配置环境：

1. 克隆代码仓库

   git clone https://github.com/graphdeeplearning/benchmarking-gnns.git
   cd benchmarking-gnns
   

2. 安装项目依赖 进入目录后，安装所需的 Python 包：

   pip install -r requirements.txt
   

3. 验证安装 确保能够导入相关模块且无报错：

   python -c "import dgl; import torch; print('Environment ready')"
   

基本使用

1. 下载数据集

在运行模型前，需要下载评估所需的数据集（如分子图数据、超级节点分类数据等）。执行以下脚本自动下载：

python main.py --dataset ZINC --download

注：ZINC 为常用的分子属性回归数据集，可替换为 SUPERCLUSTER, PATTERN 等其他支持的数据集。

2. 运行 Graph Transformer 模型

使用以下命令启动训练。该命令将加载 Graph Transformer 架构并在指定数据集上进行训练和评估：

python main.py --dataset ZINC --model GraphTransformer --gpu_id 0 --batch_size 32 --epochs 100

关键参数说明：

• --model GraphTransformer: 指定使用本文提出的图变压器架构。
• --gpu_id 0: 指定使用的 GPU 编号，若无 GPU 可移除该参数或使用 CPU 模式。
• --batch_size: 批处理大小，可根据显存调整。

3. 复现论文结果

若要完全复现论文中的实验结果，请参考项目文档中的具体超参数配置运行：

# 示例：运行特定的配置文件复现结果
python main.py --config configs/graph_transformer_zinc.json

训练完成后，模型权重和日志将保存在 logs/ 目录下，包含最终的测试集性能指标。