时间序列中的 Transformer

这是一份由专业人士精心整理的关于时间序列中的 Transformer的优质资源列表（包括论文、代码、数据等），也是目前我们所知的首份全面且系统性地总结 Transformer 在时间序列建模领域最新进展的工作。

我们将持续更新此列表，以纳入最新的资源。如果您发现有任何遗漏的资源（论文或代码）或错误，请随时提交 issue 或 pull request。

如需了解在顶级人工智能会议和期刊上发表的关于**时间序列人工智能（AI4TS）**的通用论文、教程和综述，请查看此仓库。

如需了解在顶级人工智能会议和期刊上发表的关于各类人工智能领域的最新进展：教程与综述（深度学习、机器学习、数据挖掘、计算机视觉、自然语言处理、语音处理等），请查看此仓库。

综述论文

时间序列中的 Transformer：综述（IJCAI 2023 综述赛道）

温庆松、周天、张超立、陈伟奇、马子清、严骏驰 和 孙亮。

如果您认为本仓库对您的工作有所帮助，请引用我们的综述论文。

@inproceedings{wen2023transformers,
  title={Transformers in time series: A survey},
  author={Wen, Qingsong and Zhou, Tian and Zhang, Chaoli and Chen, Weiqi and Ma, Ziqing and Yan, Junchi and Sun, Liang},
  booktitle={International Joint Conference on Artificial Intelligence(IJCAI)},
  year={2023}
}

时间序列建模中 Transformer 的分类体系

时间序列 Transformer 的应用领域

[官方代码]

转换器在预测中的应用

时间序列预测

• CARD：面向时间序列预测的通道对齐鲁棒混合转换器，发表于 ICLR 2024。[论文] [官方代码]
• Pathformer：用于时间序列预测的具有自适应路径的多尺度转换器，发表于 ICLR 2024。[论文] [官方代码]
• GAFormer：通过组感知嵌入增强时间序列转换器，发表于 ICLR 2024。[论文]
• 基于转换器调制的扩散模型用于概率性多元时间序列预测，发表于 ICLR 2024。[论文]
• iTransformer：反转转换器在时间序列预测中同样有效，发表于 ICLR 2024。[论文]
• 在多元时间序列中考虑非平稳性：基于变分层次转换器的预测方法，发表于 AAAI 2024。[论文]
• 用于概率性时间序列预测的潜在扩散转换器，发表于 AAAI 2024。[论文]
• BasisFormer：基于注意力的时间序列预测，采用可学习且可解释的基底，发表于 NeurIPS 2023。[论文]
• ContiFormer：用于不规则时间序列建模的连续时间转换器，发表于 NeurIPS 2023。[论文]
• 一段时间序列胜过64个词：利用转换器进行长期预测，发表于 ICLR 2023。[论文] [代码]
• Crossformer：利用跨维度依赖性的转换器用于多元时间序列预测，发表于 ICLR 2023。[论文]
• Scaleformer：用于时间序列预测的迭代式多尺度精炼转换器，发表于 ICLR 2023。[论文]
• 非平稳性转换器：重新思考时间序列预测中的平稳性假设，发表于 NeurIPS 2022。[论文]
• 学习旋转：四元数转换器用于复杂周期性时间序列预测，发表于 KDD 2022。[论文]
• FEDformer：用于长期序列预测的频率增强分解转换器，发表于 ICML 2022。[论文] [官方代码]
• TACTiS：用于时间序列的转换器-注意力耦合模型，发表于 ICML 2022。[论文]
• Pyraformer：用于长距离时间序列建模与预测的低复杂度金字塔注意力机制，发表于 ICLR 2022。[论文] [官方代码]
• Autoformer：结合自相关性的分解转换器用于长期序列预测，发表于 NeurIPS 2021。[论文] [官方代码]
• Informer：超越高效转换器的长序列时间序列预测方法，发表于 AAAI 2021。[论文] [官方代码] [数据集]
• 用于可解释多 horizon 时间序列预测的时间融合转换器，发表于 International Journal of Forecasting 2021。[论文] [代码]
• 用于时间序列分析的概率性转换器，发表于 NeurIPS 2021。[论文]
• 深度转换器模型用于时间序列预测：以流感流行为例，发表于 arXiv 2020。[论文]
• 用于时间序列预测的对抗稀疏转换器，发表于 NeurIPS 2020。[论文] [代码]
• 提升转换器在时间序列预测中的局部性并突破内存瓶颈，发表于 NeurIPS 2019。[论文] [代码]
• SSDNet：用于时间序列预测的状态空间分解神经网络，发表于 ICDM 2021，[论文]
• 从已知到未知：阿里巴巴知识引导型转换器用于时间序列销售预测，发表于 arXiv 2021。[论文]
• TCCT：紧密耦合的卷积转换器用于时间序列预测，发表于 Neurocomputing 2022。[论文]
• Triformer：三角形、变量特异性注意力机制用于长序列多元时间序列预测，发表于 IJCAI 2022。[论文]

空间-时间预测

• AirFormer：利用转换器预测中国全国空气质量，发表于 AAAI 2023。[论文] [官方代码]
• Earthformer：探索时空转换器用于地球系统预测，发表于 NeurIPS 2022。[论文] [官方代码]
• 双向时空自适应转换器用于城市交通流量预测，发表于 TNNLS 2022。[论文]
• 用于行人轨迹预测的空间-时间图转换器网络，发表于 ECCV 2020。[论文] [官方代码]
• 用于交通流量预测的空间-时间转换器网络，发表于 arXiv 2020。[论文] [官方代码]
• 交通转换器：捕捉时间序列的连续性和周期性以进行交通预测，发表于 Transactions in GIS 2022。[论文]

事件型不规则时间序列建模

• 时间序列作为图像：用于不规则采样时间序列的视觉Transformer，发表于 NeurIPS 2023。[论文]
• ContiFormer：用于不规则时间序列建模的连续时间Transformer，发表于 NeurIPS 2023。[论文]
• HYPRO：一种混合归一化的概率模型，用于事件序列的长 horizon 预测，发表于 NeurIPS 2022。[论文] [官方代码]
• 不规则间隔事件及其参与者的Transformer嵌入，发表于 ICLR 2022。[论文] [官方代码]
• 自注意力霍克斯过程，发表于 ICML 2020。[论文] [官方代码]
• Transformer霍克斯过程，发表于 ICML 2020。[论文] [官方代码]

异常检测中的Transformer

• MEMTO：用于多变量时间序列异常检测的记忆引导Transformer，发表于 NeurIPS 2023。[论文]
• CAT：超越高效Transformer的内容感知事件序列异常检测，发表于 KDD 2022。[论文] [官方代码]
• DCT-GAN：基于扩张卷积Transformer的GAN，用于时间序列异常检测，发表于 TKDE 2022。[论文]
• 基于Transformer的时间序列异常检测中的概念漂移适应，发表于 Neural Processing Letters 2022。[论文]
• 异常Transformer：基于关联差异的时间序列异常检测，发表于 ICLR 2022。[论文] [官方代码]
• TranAD：用于多变量时间序列数据异常检测的深度Transformer网络，发表于 VLDB 2022。[论文] [官方代码]
• 使用Transformer学习图结构以进行物联网中多变量时间序列的异常检测，发表于 IEEE Internet of Things Journal 2021。[论文] [官方代码]
• 基于Transformer重建误差的航天器异常检测，发表于 ICASSE 2019。[论文]
• 基于Transformer的变分自编码器实现多变量时间序列的无监督异常检测，发表于 CCDC 2021。[论文]
• 基于变分Transformer的多变量时间序列异常检测方法，发表于 Measurement 2022。[论文]

分类中的Transformer

• 时间序列作为图像：用于不规则采样时间序列的视觉Transformer，发表于 NeurIPS 2023。[论文]
• TrajFormer：使用Transformer进行高效的轨迹分类，发表于 CIKM 2022。[论文]
• TARNet：面向任务的时间序列Transformer重构，发表于 KDD 2022。[论文] [官方代码]
• 基于Transformer的多变量时间序列表示学习框架，发表于 KDD 2021。[论文] [官方代码]
• Voice2series：为时间序列分类重新编程声学模型，发表于 ICML 2021。[论文] [官方代码]
• 门控Transformer网络用于多变量时间序列分类，发表于 arXiv 2021。[论文] [官方代码]
• 自注意力用于原始光学卫星时间序列分类，发表于 ISPRS Journal of Photogrammetry and Remote Sensing 2020。[论文] [官方代码]
• 卫星影像时间序列分类的自监督预训练Transformer，发表于 IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 2020。[论文]
• 用于稀疏且不规则采样多变量临床时间序列的自监督Transformer，发表于 ACM TKDD 2022。[论文] [官方代码]

时间序列相关综述

• 大型语言模型能为时间序列分析带来什么启示，发表于 arXiv 2024年。[论文]
• 面向时间序列与时空数据的大型模型：综述与展望，发表于 arXiv 2023年。[论文] [网站]
• 多变量时间序列插补中的深度学习：综述，发表于 arXiv 2024年。[论文] [网站]
• 自监督学习在时间序列分析中的应用：分类、进展与前景，发表于 arXiv 2023年。[论文] [网站]
• 图神经网络在时间序列中的应用综述：预测、分类、插补与异常检测，发表于 arXiv 2023年。[论文] [网站]
• 深度学习中时间序列数据增强技术综述，发表于 IJCAI 2021年。[论文]
• 神经时序点过程综述，发表于 IJCAI 2021年。[论文]
• 深度学习在时间序列预测中的应用综述，发表于 Philosophical Transactions of the Royal Society A 2021年。[论文]
• 深度学习在时间序列预测中的应用综述，发表于 Big Data 2021年。[论文]
• 神经预测方法：介绍与文献综述，发表于 arXiv 2020年。[论文]
• 深度学习在时间序列异常检测中的应用：综述、分析与指南，发表于 Access 2021年。[论文]
• 时间序列数据中的离群点/异常检测综述，发表于 ACM Computing Surveys 2021年。[论文]
• 深度与浅层异常检测的统一综述，发表于 Proceedings of the IEEE 2021年。[论文]
• 深度学习在时间序列分类中的应用综述，发表于 Data Mining and Knowledge Discovery 2019年。[论文]
• 更多相关的时间序列综述、教程和论文可在该 仓库 中找到。

其他领域中的 Transformer/注意力机制教程与综述

• 关于 Transformer 的全方位指南：架构、优化、应用与解释，发表于 AAAI Tutorial 2023年。[链接]
• 用于多模态信号处理与决策的 Transformer 架构，发表于 ICASSP Tutorial 2022年。[链接]
• 高效 Transformer 综述，发表于 ACM Computing Surveys 2022年。[论文] [论文]
• 视觉 Transformer 综述，发表于 IEEE TPAMI 2022年。[论文]
• 深度学习中注意力机制的通用综述，发表于 IEEE TKDE 2022年。[论文]
• 注意力，请注意！深度学习中神经注意力模型的综述，发表于 Artificial Intelligence Review 2022年。[论文]
• 计算机视觉中的注意力机制综述，发表于 Computational Visual Media 2022年。[论文]
• 基于 Transformer 的视频-语言预训练综述，发表于 AI Open 2022年。[论文]
• 视觉领域的 Transformer 综述，发表于 ACM Computing Surveys 2021年。[论文]
• 预训练模型：过去、现在与未来，发表于 AI Open 2021年。[论文]
• 注意力模型的细致综述，发表于 ACM TIST 2021年。[论文]
• 自然语言处理中的注意力机制，发表于 IEEE TNNLS 2020年。[论文]
• 自然语言处理中的预训练模型综述，发表于 Science China Technological Sciences 2020年。[论文]
• 深度学习中注意力机制的回顾，发表于 Neurocomputing 2021年。[论文]
• Transformer 综述，发表于 arXiv 2021年。[论文]
• 视觉-语言预训练模型综述，发表于 arXiv 2022年。[论文]
• 视频 Transformer 综述，发表于 arXiv 2022年。[论文]
• 面向图结构的 Transformer：从架构角度的概述，发表于 arXiv 2022年。[论文]
• 医学影像中的 Transformer 综述，发表于 arXiv 2022年。[论文]
• 基于 Transformer 预训练语言模型的可控文本生成综述，发表于 arXiv 2022年。[论文]

time-series-transformers-review 快速上手指南

time-series-transformers-review 并非一个可直接安装的 Python 软件包，而是一个精选资源列表仓库。它系统性地整理了基于 Transformer 的时间序列分析（预测、异常检测等）的论文、代码和数据集。

本指南将帮助你如何利用该仓库查找资源，并快速运行其中推荐的经典模型（以 Autoformer 和 Informer 为例）。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐), macOS, 或 Windows (WSL2)
• Python 版本: 3.8 - 3.10 (大多数时间序列深度学习项目在此范围兼容性最好)
• 硬件: 建议配备 NVIDIA GPU 以加速模型训练和推理
• 前置依赖:
  • Git
  • PyTorch (需根据 CUDA 版本安装)
  • Pandas, Numpy, Scikit-learn

安装步骤

由于这是一个资源索引库，你不需要通过 pip 安装它，而是需要克隆仓库以获取论文列表和对应模型的官方代码链接。随后，你需要克隆具体感兴趣的模型代码库。

1. 克隆资源索引库

首先获取最新的论文和代码清单：

git clone https://github.com/qingsongedu/time-series-transformers-review.git
cd time-series-transformers-review

2. 选择并克隆具体模型代码

浏览仓库中的 README.md 或查看整理的论文列表，找到你需要的模型（例如 Autoformer）。点击其 [official code] 链接跳转到对应仓库进行克隆。

示例：克隆 Autoformer (NeurIPS 2021)

# 进入你的项目目录
cd ..
# 克隆 Autoformer 官方代码库
git clone https://github.com/thuml/autoformer.git
cd autoformer

3. 安装模型依赖

进入具体模型目录后，安装其所需的 Python 依赖。国内用户推荐使用清华源或阿里源加速安装。

# 使用 pip 安装依赖 (推荐国内镜像源)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

# 如果 requirements.txt 未包含 torch，请手动安装 (根据你的 CUDA 版本调整)
# 示例：安装 PyTorch CPU 版本
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
# 示例：安装 PyTorch CUDA 11.8 版本
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

基本使用

大多数基于该列表的时间序列模型都遵循相似的运行流程：准备数据 -> 配置参数 -> 运行脚本。以下以 autoformer 为例展示最简单的运行步骤。

1. 准备数据

大多数仓库会自带数据处理脚本或示例数据。通常需要将数据集（如 ETTh1, Weather 等）放置在 ./dataset 目录下。

# 创建数据目录（如果不存在）
mkdir -p dataset
# 将下载好的 .csv 数据文件放入 dataset 文件夹
# 具体数据格式请参考各模型仓库的 README

2. 运行预测任务

使用提供的运行脚本启动训练或预测。通常需要指定模型名称、数据集、预测长度等参数。

示例命令：

# 运行 Autoformer 在 ETTh1 数据集上的长序列预测
# -m: 模型名称
# -d: 数据集名称
# -l: 输入序列长度
# -p: 预测序列长度
python run.py \
  --model_name Autoformer \
  --data ETTh1 \
  --seq_len 96 \
  --pred_len 96 \
  --train_epochs 10

3. 查看结果

运行结束后，程序通常会在 ./results 或当前目录下生成日志文件和预测结果指标（如 MSE, MAE）。

---

提示：

• 该仓库涵盖了 Forecasting (预测), Anomaly Detection (异常检测), Spatio-Temporal (时空预测) 等多个领域。
• 对于其他模型（如 Informer, FEDformer, PatchTST），请参照各自官方仓库的 README 中的 "Quick Start" 部分，命令格式通常类似。
• 如需引用相关成果，请在您的研究中引用综述论文：Transformers in Time Series: A Survey (IJCAI'23)。