扩散卷积循环神经网络：数据驱动的交通流量预测

这是对以下论文中扩散卷积循环神经网络的 TensorFlow 实现：
Yaguang Li, Rose Yu, Cyrus Shahabi, Yan Liu，《扩散卷积循环神经网络：数据驱动的交通流量预测》，ICLR 2018。

需求

• scipy>=0.19.0
• numpy>=1.12.1
• pandas>=0.19.2
• pyaml
• statsmodels
• tensorflow>=1.3.0

可以使用以下命令安装依赖：

pip install -r requirements.txt

环境更新

你可以使用 conda 安装环境。

1. 创建用于安装 dcrnn 的环境

a. GPU

conda env create -f env.gpu.yml

b. CPU

conda env create -f env.cpu.yml

2. 激活环境

conda activate dcrnn

数据准备

洛杉矶（METR-LA）和旧金山湾区（PEMS-BAY）的交通数据文件，即 metr-la.h5 和 pems-bay.h5，可在 Google Drive 或 Baidu Yun 上获取，并应放置于 data/ 文件夹中。 这些 *.h5 文件以 HDF5 文件格式存储了 pandas.DataFrame 格式的数据。以下是示例：

	sensor_0	sensor_1	sensor_2	sensor_n
2018/01/01 00:00:00	60.0	65.0	70.0	...
2018/01/01 00:05:00	61.0	64.0	65.0	...
2018/01/01 00:10:00	63.0	65.0	60.0	...
...	...	...	...	...

这里有一篇关于 使用 HDF5 与 Python 的文章。

运行以下命令以在 data/{METR-LA,PEMS-BAY}/{train,val,test}.npz 中生成训练/测试/验证数据集。

# 创建数据目录
mkdir -p data/{METR-LA,PEMS-BAY}

# METR-LA
python -m scripts.generate_training_data --output_dir=data/METR-LA --traffic_df_filename=data/metr-la.h5

# PEMS-BAY
python -m scripts.generate_training_data --output_dir=data/PEMS-BAY --traffic_df_filename=data/pems-bay.h5

图构建

由于当前实现基于传感器之间预先计算的道路网络距离，因此目前仅支持洛杉矶的传感器 ID（参见 data/sensor_graph/sensor_info_201206.csv）。

python -m scripts.gen_adj_mx  --sensor_ids_filename=data/sensor_graph/graph_sensor_ids.txt --normalized_k=0.1\
    --output_pkl_filename=data/sensor_graph/adj_mx.pkl

此外，洛杉矶（METR-LA）的传感器位置信息可在 data/sensor_graph/graph_sensor_locations.csv 中找到，而 PEMS-BAY 的传感器位置信息则可在 data/sensor_graph/graph_sensor_locations_bay.csv 中找到。

在 METR-LA 上运行预训练模型

# METR-LA
python run_demo.py --config_filename=data/model/pretrained/METR-LA/config.yaml

# PEMS-BAY
python run_demo.py --config_filename=data/model/pretrained/PEMS-BAY/config.yaml

DCRNN 生成的预测结果位于 data/results/dcrnn_predictions。

模型训练

以下是分别在 METR-LA 和 PEMS-BAY 上训练模型的命令。

# METR-LA
python dcrnn_train.py --config_filename=data/model/dcrnn_la.yaml

# PEMS-BAY
python dcrnn_train.py --config_filename=data/model/dcrnn_bay.yaml

训练细节及 tensorboard 链接

在单块 GTX 1080 Ti 显卡上，每个 epoch 对于 METR-LA 大约需要 5 分钟，而对于 PEMS-BAY 则需要 13 分钟。以下是 DCRNN 在 METR-LA 和 DCRNN 在 PEMS-BAY 的 tensorboard 示例链接，其中包含训练细节和随时间变化的指标。

需要注意的是，训练过程中可能会出现损失爆炸的情况。一种临时解决方法是从爆炸前保存的最后一个模型重新开始训练，或者在学习率调度中更早地降低学习率。

不同时间尺度和数据集上的指标

下表总结了 DCRNN 在两个数据集上不同指标和时间尺度下的性能（由于 2018 年 10 月 1 日提交的 2e4b8c8 提交中的错误修复，数值优于论文中报告的结果）。

数据集	指标	5 分钟	15 分钟	30 分钟	60 分钟
METR-LA	MAE	2.18	2.67	3.08	3.56
	MAPE	5.17%	6.84%	8.38%	10.30%
	RMSE	3.77	5.17	6.3	7.52
PEMS-BAY	MAE	0.85	1.31	1.66	1.98
	MAPE	1.63%	2.74%	3.76%	4.74%
	RMSE	1.54	2.76	3.78	4.62

基线方法评估

# METR-LA
python -m scripts.eval_baseline_methods --traffic_reading_filename=data/metr-la.h5

更多细节正在添加中……

使用图划分将 DCRNN 部署到大规模图上

通过图划分，DCRNN 已成功部署用于同时预测整个加利福尼亚州高速公路网络 11,160 个交通传感器位置的交通流量。其基本思路是将大型高速公路网络划分为若干小型网络，并使用共享权重的 DCRNN 同时进行训练。训练过程在一个中等规模的 GPU 集群上大约需要 3 小时，而实时推理可以在传统的硬件设备上运行，例如 CPU。

更多信息请参阅来自阿贡国家实验室的 Tanwi Mallick 等人的 论文、幻灯片 和 视频。

DCRNN 的应用

除了车辆交通预测之外，DCRNN 及其变体还被应用于许多重要领域，包括：

• 神经影像学：脑网络中的因果推断。S. Wein 等人. 用于脑网络中因果推断的图神经网络框架. Scientific Reports, 2021，GitHub 仓库。
• 空气质量预测：Y Lin 等人. 利用深度学习挖掘时空模式以实现精准空气质量预测. ACM SIGSPATIAL 2018。
• 互联网流量预测：D. Andreoletti 等人. 基于扩散卷积循环神经网络的网络流量预测，INFOCOM 2019。

第三方重实现

由 chnsh@ 提供的 PyTorch 实现可在 DCRNN-Pytorch 中找到。

引用

如果您在研究中发现本仓库（例如代码和数据集）有所帮助，请引用以下论文：

@inproceedings{li2018dcrnn_traffic,
  title={扩散卷积循环神经网络：数据驱动的交通预测},
  author={李亚光、Yu Rose、Shahabi Cyrus、刘燕},
  booktitle={国际表征学习会议 (ICLR '18)},
  year={2018}
}

DCRNN 快速上手指南

DCRNN (Diffusion Convolutional Recurrent Neural Network) 是一个基于 TensorFlow 的开源项目，主要用于数据驱动的交通流量预测。本指南将帮助你快速在本地环境中部署并运行该模型。

1. 环境准备

系统要求

• 操作系统: Linux / macOS (Windows 需配合 WSL 或 Docker)
• Python: 建议 Python 3.6+
• 硬件: 推荐使用 NVIDIA GPU (需安装 CUDA)，CPU 亦可运行但速度较慢。

前置依赖

核心依赖库包括：

• tensorflow >= 1.3.0
• scipy, numpy, pandas
• pyaml, statsmodels

国内加速提示：建议使用清华源或阿里源加速 pip 和 conda 包的下载。

• Pip 临时加速：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
• Conda 配置清华源：

  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  

2. 安装步骤

推荐使用 conda 创建隔离环境进行安装。

第一步：创建环境

根据是否有 GPU 选择对应的配置文件：

GPU 版本：

conda env create -f env.gpu.yml

CPU 版本：

conda env create -f env.cpu.yml

第二步：激活环境

conda activate dcrnn

若未使用 conda 配置文件，也可手动安装依赖：

pip install -r requirements.txt

3. 基本使用

以下以 METR-LA (洛杉矶交通数据) 为例，演示从数据准备到运行预训练模型的完整流程。

3.1 数据准备

1. 下载数据文件 metr-la.h5 和 pems-bay.h5。

   • 下载地址：Google Drive 或 百度网盘。

2. 将下载的 .h5 文件放入项目根目录下的 data/ 文件夹中。

3. 生成训练、验证和测试数据集：

# 创建数据目录
mkdir -p data/{METR-LA,PEMS-BAY}

# 处理 METR-LA 数据
python -m scripts.generate_training_data --output_dir=data/METR-LA --traffic_df_filename=data/metr-la.h5

# (可选) 处理 PEMS-BAY 数据
# python -m scripts.generate_training_data --output_dir=data/PEMS-BAY --traffic_df_filename=data/pems-bay.h5

3.2 构建图结构

生成传感器之间的邻接矩阵（基于预计算的道路网络距离）：

python -m scripts.gen_adj_mx  --sensor_ids_filename=data/sensor_graph/graph_sensor_ids.txt --normalized_k=0.1\
    --output_pkl_filename=data/sensor_graph/adj_mx.pkl

3.3 运行预训练模型

直接使用官方提供的预训练权重进行推理演示：

python run_demo.py --config_filename=data/model/pretrained/METR-LA/config.yaml

运行完成后，预测结果将保存在 data/results/dcrnn_predictions 目录下。

3.4 (进阶) 训练自己的模型

如需重新训练模型，可执行以下命令：

# 在 METR-LA 数据集上训练
python dcrnn_train.py --config_filename=data/model/dcrnn_la.yaml

# 在 PEMS-BAY 数据集上训练
python dcrnn_train.py --config_filename=data/model/dcrnn_bay.yaml

注意：训练过程中可能会出现 Loss 爆炸的情况。如遇此问题，建议从爆炸前保存的模型断点重启训练，或在调度中更早地降低学习率。