变压器模型在时间序列预测中有效吗？（AAAI 2023）

本仓库是 LTSF-Linear 的官方 PyTorch 实现：“变压器模型在时间序列预测中有效吗？”。

更新

• [2024/01/28] 我们的模型已被纳入 NeuralForecast。特别感谢贡献者 @cchallu！

• [2022/11/23] 被 AAAI 2023 接收，并获得三个“强烈接受”！我们还发布了一个 长期时间序列预测基准，以供进一步研究。

• [2022/08/25] 我们更新了论文 https://arxiv.org/pdf/2205.13504.pdf，并对现有 LTSF-Transformer 模型为何在 LTSF 任务中表现不佳进行了全面分析！

• [2022/08/25] 除了 DLinear 外，我们很高兴在论文和本仓库中新增了两个线性模型。现在我们拥有了一个 LTSF-Linear 家族！

  • Linear：仅使用一个线性层。
  • DLinear：采用分解线性方法，以处理具有趋势和季节性模式的数据。
  • NLinear：一种归一化线性模型，用于应对训练集与测试集之间的分布偏移。更多详情请参阅“LTSF-Linear”章节。

• [2022/08/25] 我们更新了 LTSF-Linear 的部分脚本。

  • Linear、NLinear 和 DLinear 使用相同的脚本。
  • DLinear 的部分结果现在略有不同。

特性

• 添加了一个用于长期时间序列预测的 基准。
• 同时支持 单变量 和 多变量 长期时间序列预测。
• 支持权重可视化。
• 支持不同 历史窗口大小 的脚本。

除了 LTSF-Linear，我们还提供了五种重要的预测 Transformer 模型，以重新实现论文中的结果。

• Transformer（NeuIPS 2017）
• Informer（AAAI 2021 最佳论文）
• Autoformer（NeuIPS 2021）
• Pyraformer（ICLR 2022 口头报告）
• FEDformer（ICML 2022）

详细说明

我们在 ./scripts 中提供了所有实验脚本文件：

文件	解释
EXP-LongForecasting	长期时间序列预测任务
EXP-LookBackWindow	研究不同历史窗口大小的影响
EXP-Embedding	研究不同嵌入策略的效果

此代码基于 Autoformer 的代码库构建。我们非常感谢以下 GitHub 仓库提供的宝贵代码库或数据集：

Autoformer、Informer 和 Transformer 的实现来自 https://github.com/thuml/Autoformer

FEDformer 的实现来自 https://github.com/MAZiqing/FEDformer

Pyraformer 的实现来自 https://github.com/alipay/Pyraformer

LTSF-Linear

LTSF-Linear 家族

LTSF-Linear 是一组线性模型。

• Linear：它只是一个单层线性模型，但却优于 Transformer。
• NLinear：为了提升 Linear 在数据集存在分布偏移时的性能，NLinear 首先将输入减去序列的最后一个值，然后通过一个线性层处理，最后再将减去的部分加回来，从而得到最终预测。NLinear 中的减法和加法实际上是对输入序列的一种简单归一化操作。
• DLinear：它是将 Autoformer 和 FEDformer 中使用的分解方案与线性层相结合的模型。首先，它通过移动平均核将原始数据分解为趋势成分和残差（季节性）成分，然后分别对这两个成分应用一个单层线性层，并将两者相加得到最终预测。通过显式地处理趋势，DLinear 在数据存在明显趋势时能够显著提升普通线性模型的性能。

尽管 LTSF-Linear 很简单，但它具有一些引人注目的特性：

• 最大信号传播路径长度为 O(1)：路径越短，依赖关系捕捉得越好，因此 LTSF-Linear 能够同时捕捉短期和长期的时间依赖关系。
• 高效性：由于每个分支仅包含一个线性层，因此其内存消耗和参数量都远低于现有的 Transformer 模型，推理速度也更快。
• 可解释性：训练完成后，我们可以可视化权重，从而对预测结果有更深入的理解。
• 易用性：LTSF-Linear 无需调整模型超参数即可轻松使用。

与 Transformer 的比较

单变量预测： 多变量预测： LTSF-Linear 以较大优势超越了所有基于 Transformer 的方法。

效率

在电力数据上，当历史窗口大小为 96、预测步数为 720 时，各方法效率的对比。MACs 表示乘累加操作次数。我们以 DLinear 作为对比，因为它在 LTSF-Linear 中的成本是前者的两倍。推理时间取 5 次运行的平均值。

快速入门

环境要求

首先，请确保已安装 Conda。然后，可以通过以下命令安装我们的环境：

conda create -n LTSF_Linear python=3.6.9
conda activate LTSF_Linear
pip install -r requirements.txt

数据准备

您可以从 Autoformer 提供的 Google Drive 获取全部九个基准数据集。所有数据集均已预处理完毕，可直接使用。

mkdir dataset

请将它们放置在 ./dataset 目录下

训练示例

• 在 scripts/ 中，我们提供了模型实现 Dlinear/Autoformer/Informer/Transformer。
• 在 FEDformer/scripts/ 中，我们提供了 FEDformer 的实现。
• 在 Pyraformer/scripts/ 中，我们提供了 Pyraformer 的实现。

例如：

要在 Exchange-Rate 数据集 上训练 LTSF-Linear，可以使用脚本 scripts/EXP-LongForecasting/Linear/exchange_rate.sh：

sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh

默认会开始训练 DLinear，结果将保存在 logs/LongForecasting 目录中。您可以在脚本中指定模型名称（Linear、DLinear、NLinear）。

所有关于在长时序预测任务中使用 LTSF-Linear 的脚本都位于 scripts/EXP-LongForecasting/Linear/ 目录下，您可以以类似的方式运行它们。脚本中默认的回看窗口大小为 336，正如论文中所讨论的，LTSF-Linear 通常在较长的回看窗口下表现更好。

关于 FEDformer 和 Pyraformer 的回看窗口大小及长时序预测的脚本分别位于 FEDformer/scripts 和 Pyraformer/scripts 目录中。要运行这些脚本，您需要先执行 cd FEDformer 或 cd Pyraformer。然后，同样可以使用 sh 命令来运行，日志将存储在 logs/ 目录中。

scripts/EXP-LongForecasting/Linear/ 中的每个实验大约需要 5–20 分钟。而对于其他 Transformer 脚本，由于我们将所有相关实验放在一个脚本文件中，直接运行可能需要每天 8 小时。您可以保留自己感兴趣的实验，并将其他实验注释掉。

权重可视化

如我们的论文所示，LTSF-Linear 的权重可以揭示数据的一些特征，例如周期性。作为示例，我们在 weight_plot.py 中提供了 DLinear 的权重可视化代码。要运行该可视化，您需要输入 DLinear 的模型路径（model_name，默认为 ./checkpoint 中的模型目录）。为了获得平滑清晰的模式，您可以使用线性模型文件中提供的初始化参数。

引用

如果您认为本仓库对您的工作有所帮助，请考虑按以下方式引用：

@inproceedings{Zeng2022AreTE,
  title={Are Transformers Effective for Time Series Forecasting?},
  author={Ailing Zeng and Muxi Chen and Lei Zhang and Qiang Xu},
  journal={Proceedings of the AAAI Conference on Artificial Intelligence},
  year={2023}
}

请务必在您的实验中引用所使用的全部数据集和对比方法。

LTSF-Linear 快速上手指南

LTSF-Linear 是 AAAI 2023 论文《Are Transformers Effective for Time Series Forecasting?》的官方 PyTorch 实现。该工具包含 Linear、NLinear 和 DLinear 三种线性模型，在长时序预测任务中表现优于主流 Transformer 架构，且具有高效、可解释性强和易于使用的特点。

环境准备

• 操作系统：Linux / macOS / Windows (推荐 Linux)
• Python 版本：3.6.9 (官方推荐，高版本通常也兼容)
• 依赖管理：Conda
• 核心框架：PyTorch

安装步骤

1. 创建并激活虚拟环境

   conda create -n LTSF_Linear python=3.6.9
   conda activate LTSF_Linear
   

2. 安装 Python 依赖 注：若下载速度慢，可添加国内镜像源（如清华源）加速安装。

   # 使用默认源
   pip install -r requirements.txt
   
   # 或使用清华镜像源加速
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据集 本项目复用了 Autoformer 的数据集。请从 Google Drive 下载 9 个基准数据集。

   在项目根目录下创建数据文件夹并将下载好的数据放入其中：

   mkdir dataset
   # 请将下载的数据集文件移动至 ./dataset 目录下
   

基本使用

以下以在 Exchange-Rate 数据集上训练 DLinear 模型为例。

1. 运行训练脚本 进入项目根目录，执行对应的 Shell 脚本：

   sh scripts/EXP-LongForecasting/Linear/exchange_rate.sh
   

   说明：该脚本默认运行 DLinear 模型。如需切换为 Linear 或 NLinear，请编辑脚本文件修改模型名称参数。

2. 查看结果 训练完成后，日志和结果将保存在 logs/LongForecasting 目录下。

3. 其他任务

   • 不同回看窗口大小实验：参考 scripts/EXP-LookBackWindow/ 下的脚本。
   • 权重可视化：训练完成后，可使用 weight_plot.py 可视化模型权重以分析数据周期性特征（需指定模型检查点路径）。

提示：单个长时序预测实验通常耗时 5-20 分钟。若运行其他 Transformer 对比模型的脚本，由于包含多个实验组合，耗时可能较长，建议根据需求注释掉不需要的实验部分。