iTransformer

该仓库是论文《iTransformer：反转Transformer在时间序列预测中有效》的官方实现。[幻灯片]，[海报]，[中文介绍]。

更新

:triangular_flag_on_post: 新闻（2024.10）TimeXer发布，这是一种用于外生变量预测的Transformer模型。代码可在这里获取。

:triangular_flag_on_post: 新闻（2024.05）非常感谢lucidrains的出色工作。可以通过pip install iTransformer轻松安装iTransformer变体的pip包。

:triangular_flag_on_post: 新闻（2024.04）iTransformer已被纳入NeuralForecast。特别感谢贡献者@Marco！

:triangular_flag_on_post: 新闻（2024.03）我们工作的中文介绍已发布。

:triangular_flag_on_post: 新闻（2024.02）iTransformer已被接受为ICLR 2024 Spotlight。

:triangular_flag_on_post: 新闻（2023.12）iTransformer已在GluonTS中提供概率性头部和静态协变量支持。笔记本可在这里找到。

:triangular_flag_on_post: 新闻（2023.12）我们收到了许多宝贵的建议。现已发布修订版（24页）。

:triangular_flag_on_post: 新闻（2023.10）iTransformer已被纳入[Time-Series-Library]，并在Lookback-$96$预测任务中达到最先进水平。

:triangular_flag_on_post: 新闻（2023.10）我们论文中所有实验脚本现已公开。

简介

🌟 考虑到多变量时间序列的特点，iTransformer在不修改任何Transformer模块的情况下打破了传统结构。在MTSF中，反转Transformer就是你需要的一切。

🏆 iTransformer在具有挑战性的多变量预测任务中实现了全面的最先进性能，并解决了Transformer在大量时间序列数据上的几个痛点。

整体架构

iTransformer将独立的时间序列视为变量标记，通过注意力机制捕捉多变量相关性，并利用层归一化和前馈网络学习序列表示。

iTransformer的伪代码如下所示，非常简单：

使用方法

1. 安装PyTorch及必要的依赖项。

pip install -r requirements.txt

1. 数据集可从Google Drive或百度网盘获取。

2. 训练并评估模型。我们在./scripts/文件夹下提供了上述所有任务的脚本。你可以按照以下示例重现结果：

# 使用iTransformer进行多变量预测
bash ./scripts/multivariate_forecasting/Traffic/iTransformer.sh

# 比较Transformer和iTransformer的性能
bash ./scripts/boost_performance/Weather/iTransformer.sh

# 使用部分变量训练模型，并推广到未见过的变量
bash ./scripts/variate_generalization/ECL/iTransformer.sh

# 测试在扩大lookback窗口下的性能
bash ./scripts/increasing_lookback/Traffic/iTransformer.sh

# 利用FlashAttention加速
bash ./scripts/efficient_attentions/iFlashTransformer.sh

多变量预测的主要结果

我们在具有挑战性的多变量预测基准测试上评估了iTransformer（通常包含数百个变量）。取得了全面的良好性能（MSE/MAE ↓）。

支付宝交易平台在线交易负载预测（平均结果）

Transformer的通用性能提升

通过引入所提出的框架，Transformer及其变体实现了显著的性能提升，这表明了iTransformer方法的通用性，并且能够受益于高效的注意力机制。

零样本变量泛化

从技术上讲，iTransformer能够预测任意数量的变量。我们在部分变量上训练iTransformer，并对未见过的变量进行了预测，表现出良好的泛化能力。

模型分析

得益于反转的Transformer模块：

• （左）反转Transformer能够学习更好的时间序列表示（与CKA更为相似），更有利于预测。
• （右）反转自注意力模块能够学习可解释的多变量相关性。

引用

如果您觉得这个仓库有所帮助，请引用我们的论文。

@article{liu2023itransformer,
  title={iTransformer: Inverted Transformers Are Effective for Time Series Forecasting},
  author={Liu, Yong and Hu, Tengge and Zhang, Haoran and Wu, Haixu and Wang, Shiyu and Ma, Lintao and Long, Mingsheng},
  journal={arXiv preprint arXiv:2310.06625},
  year={2023}
}

致谢

我们非常感谢以下GitHub仓库提供的宝贵代码和努力：

• Reformer (https://github.com/lucidrains/reformer-pytorch)
• Informer (https://github.com/zhouhaoyi/Informer2020)
• FlashAttention (https://github.com/shreyansh26/FlashAttention-PyTorch)
• Autoformer (https://github.com/thuml/Autoformer)
• Stationary (https://github.com/thuml/Nonstationary_Transformers)
• Time-Series-Library (https://github.com/thuml/Time-Series-Library)
• lucidrains (https://github.com/lucidrains/iTransformer)

本研究得到了蚂蚁集团通过CCF-蚂蚁科研基金的支持，并被评为CCF基金优秀项目。

联系方式

如果您有任何问题或想使用该代码，请随时联系：

• 刘勇 (liuyong21@mails.tsinghua.edu.cn)
• 张浩然 (z-hr20@mails.tsinghua.edu.cn)
• 胡腾格 (htg21@mails.tsinghua.edu.cn)

iTransformer 快速上手指南

iTransformer 是一种针对多元时间序列预测（MTSF）的创新架构。它通过将独立的时间序列视为变量令牌（Variate Tokens），利用注意力机制捕捉多元相关性，无需修改 Transformer 内部模块即可实现卓越的性能。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配合 WSL 使用）
• Python 版本：推荐 Python 3.8 及以上
• 核心框架：PyTorch (GPU 版本推荐)
• 硬件要求：建议使用 NVIDIA GPU 以加速训练和推理过程

安装步骤

您可以选择通过源码安装或使用 pip 直接安装变体包。

方式一：源码安装（推荐，包含完整实验脚本）

1. 克隆仓库并进入目录：

   git clone https://github.com/thuml/iTransformer.git
   cd iTransformer
   

2. 安装依赖项：

   pip install -r requirements.txt
   

   提示：国内用户若下载依赖较慢，可指定清华源加速： pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：PyPI 安装（仅使用模型变体）

如果您只需调用模型而不需要复现论文实验，可直接安装由社区维护的包：

pip install iTransformer

数据集准备

本项目所需的数据集可通过以下国内镜像下载：

• 百度网盘：点击下载 (提取码：9qjr)
• Google Drive：备用链接

下载后请将数据解压至项目适当目录（通常与脚本中的路径配置对应）。

基本使用

安装完成后，您可以直接运行提供的脚本来复现论文结果或进行训练评估。所有脚本均位于 ./scripts/ 目录下。

1. 多元时间序列预测

以下命令演示如何在 Traffic 数据集上训练并评估 iTransformer 模型：

bash ./scripts/multivariate_forecasting/Traffic/iTransformer.sh

2. 性能对比实验

对比原始 Transformer 与 iTransformer 在 Weather 数据集上的表现：

bash ./scripts/boost_performance/Weather/iTransformer.sh

3. 零样本泛化能力测试

在部分变量上训练模型，并测试其对未见变量的泛化能力（以 ECL 数据集为例）：

bash ./scripts/variate_generalization/ECL/iTransformer.sh

4. 加速推理（可选）

如果您的环境支持 FlashAttention，可使用以下脚本进行加速训练：

bash ./scripts/efficient_attentions/iFlashTransformer.sh

注意：运行上述 .sh 脚本前，请确保已赋予执行权限（chmod +x ./scripts/**/*.sh）或在 Bash 环境中直接调用。具体超参数和数据路径可在对应的 shell 脚本中查看和修改。