Crossformer: 一种利用跨维度依赖的 Transformer 模型，用于多变量时间序列预测（ICLR 2023）

这是 Crossformer: 用于多变量时间序列预测的跨维度依赖 Transformer 的原始 PyTorch 实现。

Crossformer 的关键点

1. 维度分段嵌入 (DSW)

图 1。 DSW 嵌入。 左: 早期基于 Transformer 的模型的嵌入方法：同一时刻不同维度的数据点被嵌入为一个向量；右: Crossformer 的 DSW 嵌入：在每个维度中，时间上相邻的点组成一段进行嵌入。

2. 两阶段注意力 (TSA) 层

图 2。 TSA 层。 左: 整体结构：二维向量数组依次经过跨时间阶段和跨维度阶段，以获取相应的依赖关系；中间: 直接在跨维度阶段使用多头自注意力机制来建立 $D$ 到 $D$ 的连接会导致 $O(D^2)$ 的复杂度。右: 跨维度阶段的路由器机制：少量固定的 ``路由器'' 在各维度之间收集并分发信息。这样复杂度降低到 $O(2cD) = O(D)$。

3. 分层编码器-解码器 (HED)

图 3。 HED。编码器（左）使用 TSA 层和段合并来捕捉不同尺度的依赖关系；解码器（右）通过在每个尺度上进行预测并将它们相加，最终生成预测结果。

环境要求

• Python 3.7.10
• numpy==1.20.3
• pandas==1.3.2
• torch==1.8.1
• einops==0.4.1

可复现性

1. 将用于实验的数据集放入 datasets/ 文件夹中。我们已经将 ETTh1 和 ETTm1 放入其中。WTH 和 ECL 可从 https://github.com/zhouhaoyi/Informer2020 下载。ILI 和 Traffic 可从 https://github.com/thuml/Autoformer 下载。请注意，我们在论文中使用的 WTH 是 Informer 提供的 12 维版本，而非 Autoformer 提供的 21 维版本。

2. 若要在 ETTh1 数据集上获得 $T=168, \tau = 24, L_{seg} = 6$ 的 Crossformer 结果，请运行：

python main_crossformer.py --data ETTh1 --in_len 168 --out_len 24 --seg_len 6 --itr 1

模型将自动训练和测试。训练好的模型将保存在 checkpoints/ 文件夹中，评估指标将保存在 results/ 文件夹中。

3. 您也可以通过运行以下命令来评估已训练好的模型：

python eval_crossformer.py --checkpoint_root ./checkpoints --setting_name Crossformer_ETTh1_il168_ol24_sl6_win2_fa10_dm256_nh4_el3_itr0

4. 若要复现论文中的所有结果，请运行以下脚本以获得相应结果：

bash scripts/ETTh1.sh
bash scripts/ETTm1.sh
bash scripts/WTH.sh
bash scripts/ECL.sh
bash scripts/ILI.sh
bash scripts/Traffic.sh

自定义使用

我们使用 AirQuality 数据集来展示如何使用您自己的数据训练和评估 Crossformer。

1. 将 AirQualityUCI.csv 数据集修改为以下格式，其中第一列是日期（或者您可以将第一列留空），其余 13 列是需要预测的多变量时间序列。然后将修改后的文件放入 datasets/ 文件夹中。

图 4。 自定义数据集示例。

2. 这是一个每小时采样的 13 维数据集。我们将使用过去一周（168 小时）来预测接下来的一天（24 小时），并且段长度设置为 6。因此，我们需要运行：

python main_crossformer.py --data AirQuality --data_path AirQualityUCI.csv --data_dim 13 --in_len 168 --out_len 24 --seg_len 6

3. 我们可以通过运行以下命令来评估训练好的模型：

python eval_crossformer.py --setting_name Crossformer_AirQuality_il168_ol24_sl6_win2_fa10_dm256_nh4_el3_itr0 --save_pred

模型将被评估，并且预测结果和真实值序列将被保存到 results/Crossformer_AirQuality_il168_ol24_sl6_win2_fa10_dm256_nh4_el3_itr0 文件夹中。

main_crossformer 是我们模型的入口点，还有其他可以调整的参数。以下是这些参数的详细说明：

参数名称	参数描述
data	数据集名称
root_path	数据文件的根路径（默认为 ./datasets/）
data_path	数据文件名（默认为 ETTh1.csv）
data_split	训练/验证/测试划分，可以是比例（如 0.7,0.1,0.2）或具体数量（如 16800,2880,2880），（默认为 0.7,0.1,0.2）
checkpoints	存储训练模型的位置（默认为 ./checkpoints/）
in_len	输入/历史序列的长度，即论文中的 $T$（默认为 96）
out_len	输出/未来序列的长度，即论文中的 $\tau$（默认为 24）
seg_len	DSW 嵌入中每个段的长度，即论文中的 $L_{seg}$（默认为 6）
win_size	在 HED 的段合并过程中，多少个相邻段会被合并为一个（默认为 2）
factor	TSA 中跨维度阶段的路由器数量，即论文中的 $c$（默认为 10）
data_dim	多变量时间序列数据的维度数，即论文中的 $D$（对于 ETTh 和 ETTm，默认为 7）
d_model	隐层状态的维度，即论文中的 $d_{model}$（默认为 256）
d_ff	MSA 中 MLP 的维度（默认为 512）
n_heads	MSA 中的头数（默认为 4）
e_layers	编码器层数，即论文中的 $N$（默认为 3）
dropout	掉落率的概率（默认为 0.2）
num_workers	数据加载器的工作进程数（默认为 0）
batch_size	训练和测试的批量大小（默认为 32）
train_epochs	训练轮数（默认为 20）
patience	早停的耐心期（默认为 3）
learning_rate	优化器的初始学习率（默认为 1e-4）
lradj	调整学习率的方式（默认为 type1）
itr	实验次数（默认为 1）
save_pred	是否保存预测结果。如果为 True，预测结果将以 NumPy 数组的形式保存在 results 文件夹中。对于 $D$ 较大的数据集，这将消耗大量时间和内存。（默认为 False）。
use_gpu	是否使用 GPU（默认为 True）
gpu	用于训练和推理的 GPU 编号（默认为 0）
use_multi_gpu	是否使用多块 GPU（默认为 False）
devices	多块 GPU 的设备 ID（默认为 0,1,2,3）

引用

如果您在研究中使用了本仓库，请引用以下文献：

@inproceedings{
zhang2023crossformer,
title={Crossformer：利用跨维度依赖的Transformer用于多变量时间序列预测},
author={Yunhao Zhang 和 Junchi Yan},
booktitle={国际表示学习会议},
year={2023},
}

致谢

我们感谢以下工作为时间序列预测提供了有价值的代码和数据：

https://github.com/zhouhaoyi/Informer2020

https://github.com/thuml/Autoformer

https://github.com/alipay/Pyraformer

https://github.com/MAZiqing/FEDformer

此外，以下两篇视觉Transformer相关的工作也启发了我们的DSW嵌入和HED设计：

https://github.com/google-research/vision_transformer

https://github.com/microsoft/Swin-Transformer

Crossformer 快速上手指南

Crossformer 是一种利用跨维度依赖关系进行多变量时间序列预测的 Transformer 模型（ICLR 2023）。本指南将帮助您快速配置环境并运行模型。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python 版本: 3.7.10 (推荐)
• 硬件: 支持 CUDA 的 GPU（可选，但推荐用于加速训练）

核心依赖库版本：

• numpy==1.20.3
• pandas==1.3.2
• torch==1.8.1
• einops==0.4.1

国内加速建议：安装依赖时，建议使用清华或阿里镜像源以提升下载速度。 例如：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装步骤

第一步：克隆代码库

git clone https://github.com/thuml/Crossformer.git
cd Crossformer

第二步：安装依赖

创建虚拟环境（推荐）并安装所需包：

python -m venv venv
source venv/bin/activate  # Windows 用户请使用: venv\Scripts\activate

# 使用国内镜像源安装依赖
pip install numpy==1.20.3 pandas==1.3.2 torch==1.8.1 einops==0.4.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：准备数据集

将数据集放入 datasets/ 文件夹。

• 内置数据：ETTh1 和 ETTm1 已包含在项目中。
• 外部数据：
  • WTH 和 ECL: 从 Informer2020 下载。
  • ILI 和 Traffic: 从 Autoformer 下载。
  • 注意：论文中使用的 WTH 是 Informer 提供的 12 维版本，而非 Autoformer 的 21 维版本。

3. 基本使用

以下示例展示如何在 ETTh1 数据集上训练和测试 Crossformer 模型。 设定条件：输入长度 168，预测长度 24，分段长度 6。

训练与测试

运行以下命令，模型将自动训练、保存至 checkpoints/ 目录，并将评估指标保存至 results/ 目录。

python main_crossformer.py --data ETTh1 --in_len 168 --out_len 24 --seg_len 6 --itr 1

评估已有模型

如果您想单独评估一个已训练好的模型（例如复现结果），可运行：

python eval_crossformer.py --checkpoint_root ./checkpoints --setting_name Crossformer_ETTh1_il168_ol24_sl6_win2_fa10_dm256_nh4_el3_itr0

使用自定义数据

若需使用自己的数据（如空气质量数据 AirQualityUCI.csv）：

1. 确保数据格式为：第一列为日期（可为空），后续列为多变量时间序列。
2. 将文件放入 datasets/ 目录。
3. 指定数据维度（--data_dim）及其他参数运行：

python main_crossformer.py --data AirQuality --data_path AirQualityUCI.csv --data_dim 13 --in_len 168 --out_len 24 --seg_len 6

提示：更多参数（如学习率、Batch size、GPU 设置等）可通过 python main_crossformer.py --help 查看或在代码中调整。