扩散卷积循环神经网络：数据驱动的交通流量预测

这是对以下论文中扩散卷积循环神经网络的 PyTorch 实现：
Yaguang Li, Rose Yu, Cyrus Shahabi, Yan Liu，《扩散卷积循环神经网络：数据驱动的交通流量预测》(Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting)，ICLR 2018。

需求

• torch
• scipy>=0.19.0
• numpy>=1.12.1
• pandas>=0.19.2
• pyyaml
• statsmodels
• tensorflow>=1.3.0
• torch
• tables
• future

可以使用以下命令安装依赖：

pip install -r requirements.txt

与 TensorFlow 实现的比较

在 MAE（对于 LA 数据集，PEMS-BAY 即将加入）方面：

预测时长	TensorFlow	PyTorch
1 小时	3.69	3.12
30 分钟	3.15	2.82
15 分钟	2.77	2.56

数据准备

洛杉矶（METR-LA）和湾区（PEMS-BAY）的交通数据文件，即 metr-la.h5 和 pems-bay.h5，可在 Google Drive 或 百度网盘 上获取，并应放置于 data/ 文件夹中。 这些 *.h5 文件以 HDF5 文件格式存储了 pandas.DataFrame 格式的数据。以下是示例：

	传感器_0	传感器_1	传感器_2	传感器_n
2018/01/01 00:00:00	60.0	65.0	70.0	...
2018/01/01 00:05:00	61.0	64.0	65.0	...
2018/01/01 00:10:00	63.0	65.0	60.0	...
...	...	...	...	...

这里有一篇关于 使用 HDF5 与 Python 的文章。

运行以下命令以在 data/{METR-LA,PEMS-BAY}/{train,val,test}.npz 中生成训练/测试/验证数据集。

# 创建数据目录
mkdir -p data/{METR-LA,PEMS-BAY}

# METR-LA
python -m scripts.generate_training_data --output_dir=data/METR-LA --traffic_df_filename=data/metr-la.h5

# PEMS-BAY
python -m scripts.generate_training_data --output_dir=data/PEMS-BAY --traffic_df_filename=data/pems-bay.h5

图构建

由于当前实现基于预先计算的传感器间道路网络距离，因此目前仅支持洛杉矶的传感器 ID（参见 data/sensor_graph/sensor_info_201206.csv）。

python -m scripts.gen_adj_mx  --sensor_ids_filename=data/sensor_graph/graph_sensor_ids.txt --normalized_k=0.1\
    --output_pkl_filename=data/sensor_graph/adj_mx.pkl

此外，洛杉矶（METR-LA）的传感器位置信息可在 data/sensor_graph/graph_sensor_locations.csv 中找到。

在 METR-LA 上运行预训练模型

# METR-LA
python run_demo_pytorch.py --config_filename=data/model/pretrained/METR-LA/config.yaml

# PEMS-BAY
python run_demo_pytorch.py --config_filename=data/model/pretrained/PEMS-BAY/config.yaml

生成的 DCRNN 预测结果位于 data/results/dcrnn_predictions。

模型训练

# METR-LA
python dcrnn_train_pytorch.py --config_filename=data/model/dcrnn_la.yaml

# PEMS-BAY
python dcrnn_train_pytorch.py --config_filename=data/model/dcrnn_bay.yaml

训练过程中可能会出现损失爆炸的情况，临时解决方法是重新从爆炸前保存的最后一个模型开始训练，或者在学习率调度中更早地降低学习率。

基线方法评估

# METR-LA
python -m scripts.eval_baseline_methods --traffic_reading_filename=data/metr-la.h5

PyTorch 结果

引用

如果您在研究中发现本仓库（例如代码和数据集）有用，请引用以下论文：

@inproceedings{li2018dcrnn_traffic,
  title={Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting},
  author={Li, Yaguang and Yu, Rose and Shahabi, Cyrus and Liu, Yan},
  booktitle={International Conference on Learning Representations (ICLR '18)},
  year={2018}
}

DCRNN_PyTorch 快速上手指南

DCRNN (Diffusion Convolutional Recurrent Neural Network) 是一种用于数据驱动交通预测的深度学习模型。本指南基于 PyTorch 实现，帮助开发者快速搭建环境并运行模型。

1. 环境准备

系统要求

• Python 3.x
• 支持 CUDA 的 GPU（推荐，用于加速训练）

前置依赖

确保已安装以下核心库：

• torch
• scipy (>=0.19.0)
• numpy (>=1.12.1)
• pandas (>=0.19.2)
• pyyaml
• statsmodels
• tensorflow (>=1.3.0，部分脚本依赖)
• tables
• future

提示：国内用户建议使用清华源或阿里源加速 pip 安装。

2. 安装步骤

安装依赖包

克隆项目后，进入目录并使用以下命令一键安装依赖：

pip install -r requirements.txt

若下载速度慢，可指定国内镜像源：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

准备数据

模型需要洛杉矶 (METR-LA) 或湾区 (PEMS-BAY) 的交通数据文件 (.h5)。

1. 从 Google Drive 或 百度网盘 下载 metr-la.h5 或 pems-bay.h5。
2. 将文件放入项目的 data/ 文件夹中。

生成训练数据集

执行以下命令创建数据目录并预处理数据：

# 创建数据目录
mkdir -p data/{METR-LA,PEMS-BAY}

# 处理 METR-LA 数据
python -m scripts.generate_training_data --output_dir=data/METR-LA --traffic_df_filename=data/metr-la.h5

# 处理 PEMS-BAY 数据
python -m scripts.generate_training_data --output_dir=data/PEMS-BAY --traffic_df_filename=data/pems-bay.h5

构建图结构 (邻接矩阵)

当前实现基于预计算的传感器间道路网络距离。以洛杉矶数据为例：

python -m scripts.gen_adj_mx  --sensor_ids_filename=data/sensor_graph/graph_sensor_ids.txt --normalized_k=0.1\
    --output_pkl_filename=data/sensor_graph/adj_mx.pkl

3. 基本使用

运行预训练模型 (推理)

直接使用官方提供的预训练权重进行预测，结果将保存在 data/results/dcrnn_predictions。

# 运行 METR-LA 预训练模型
python run_demo_pytorch.py --config_filename=data/model/pretrained/METR-LA/config.yaml

# 运行 PEMS-BAY 预训练模型
python run_demo_pytorch.py --config_filename=data/model/pretrained/PEMS-BAY/config.yaml

训练新模型

使用配置文件启动训练过程：

# 训练 METR-LA 模型
python dcrnn_train_pytorch.py --config_filename=data/model/dcrnn_la.yaml

# 训练 PEMS-BAY 模型
python dcrnn_train_pytorch.py --config_filename=data/model/dcrnn_bay.yaml

注意：训练过程中若出现损失爆炸 (loss explode)，建议从爆炸前保存的检查点重启训练，或在调度中更早地降低学习率。