非平稳Transformer

这是论文的代码库： 非平稳Transformer：探索时间序列预测中的平稳性，NeurIPS 2022。[幻灯片]，[海报]。

:triangular_flag_on_post: 新闻（2023年2月）非平稳Transformer已被纳入[时间序列库]，该库涵盖了长短期预测、插补、异常检测和分类任务。

讨论

关于我们的论文已经有几篇讨论，我们非常感谢他们宝贵的评论和努力：[官方]、[OpenReview]、[知乎]。

架构

系列平稳化

系列平稳化统一了每个输入的统计特性，并将输出转换回原始统计特性，以提高预测性能。

去平稳注意力机制

去平稳注意力机制旨在通过近似从非平稳序列中学习到的可区分注意力，将内在的非平稳信息恢复到时间依赖关系中。

展示案例

准备工作

1. 安装Python 3.7及必要的依赖包。

pip install -r requirements.txt

2. 所有六个基准数据集均可从Google Drive或清华云获取。

训练脚本

非平稳Transformer

我们在./scripts文件夹下提供了所有基准数据集的非平稳Transformer实验脚本及超参数。

# 使用我们框架的Transformer
bash ./scripts/ECL_script/ns_Transformer.sh
bash ./scripts/Traffic_script/ns_Transformer.sh
bash ./scripts/Weather_script/ns_Transformer.sh
bash ./scripts/ILI_script/ns_Transformer.sh
bash ./scripts/Exchange_script/ns_Transformer.sh
bash ./scripts/ETT_script/ns_Transformer.sh

# Transformer基线
bash ./scripts/ECL_script/Transformer.sh
bash ./scripts/Traffic_script/Transformer.sh
bash ./scripts/Weather_script/Transformer.sh
bash ./scripts/ILI_script/Transformer.sh
bash ./scripts/Exchange_script/Transformer.sh
bash ./scripts/ETT_script/Transformer.sh

非平稳框架用于提升其他基于注意力的模型

我们还提供了其他基于注意力的模型（Informer、Autoformer）的脚本，例如：

# 我们的非平稳框架提升的Informer
bash ./scripts/Exchange_script/Informer.sh
bash ./scripts/Exchange_script/ns_Informer.sh

# 我们的非平稳框架提升的Autoformer
bash ./scripts/Weather_script/Autoformer.sh
bash ./scripts/Weather_script/ns_Autoformer.sh

实验结果

主要结果

对于多变量预测结果，配备我们框架的原始Transformer在所有六个基准和不同预测长度上均持续达到最先进水平。

模型提升

通过将我们的框架应用于六种主流的基于注意力的模型，我们的方法始终能够提升预测能力。总体而言，它对Transformer的提升平均达到49.43%，对Informer为47.34%，对Reformer为46.89%，对Autoformer为10.57%，对ETSformer为5.17%，对FEDformer为4.51%，使每种模型都超越了之前的最先进水平。

未来工作

我们将继续为以下模型配备我们提出的非平稳Transformer框架：

• Transformer
• iTransformer
• Informer
• Autoformer
• FEDformer
• Crossformer
• Reformer
• ......

注：作为无架构模块的系列平稳化已被广泛应用于解决时间序列中的非平稳性问题。有关实现细节，请参阅时间序列库。

引用

如果您觉得这个仓库有用，请引用我们的论文。

@article{liu2022non,
  title={Non-stationary Transformers: Exploring the Stationarity in Time Series Forecasting},
  author={Liu, Yong and Wu, Haixu and Wang, Jianmin and Long, Mingsheng},
  booktitle={Advances in Neural Information Processing Systems},
  year={2022}
}

联系方式

如果您有任何问题或希望使用此代码，请联系liuyong21@mails.tsinghua.edu.cn。

致谢

本仓库基于Autoformer仓库构建，我们非常感谢作者们提供的宝贵代码和努力。

Non-stationary Transformers 快速上手指南

Non-stationary Transformers 是 NeurIPS 2022 收录的时间序列预测模型，旨在解决时间序列中的非平稳性问题。该框架通过“序列平稳化（Series Stationarization）”和“去平稳注意力（De-stationary Attention）”机制，显著提升了 Transformer 及其变体在长短期预测任务中的表现。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.7
• 前置依赖：需安装 requirements.txt 中列出的所有依赖包（包括 PyTorch 等深度学习框架）

安装步骤

1. 克隆仓库并进入目录：

git clone https://github.com/thuml/Nonstationary_Transformers.git
cd Nonstationary_Transformers

2. 安装依赖：

pip install -r requirements.txt

💡 国内用户可使用清华源加速安装：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 下载数据集： 所有六个基准数据集可通过以下任一链接获取：

• Google Drive
• 清华云盘（国内加速）

下载后请将数据解压至项目根目录或按脚本要求配置路径。

基本使用

运行 Non-stationary Transformer 模型

以 ECL 数据集为例，执行以下命令启动训练：

bash ./scripts/ECL_script/ns_Transformer.sh

其他数据集（Traffic, Weather, ILI, Exchange, ETT）只需替换对应脚本路径：

bash ./scripts/Traffic_script/ns_Transformer.sh
bash ./scripts/Weather_script/ns_Transformer.sh
bash ./scripts/ILI_script/ns_Transformer.sh
bash ./scripts/Exchange_script/ns_Transformer.sh
bash ./scripts/ETT_script/ns_Transformer.sh

对比基线模型（原始 Transformer）

bash ./scripts/ECL_script/Transformer.sh

应用于其他注意力模型（如 Informer、Autoformer）

本框架可无缝集成到其他基于 Attention 的模型中：

# 提升版 Informer
bash ./scripts/Exchange_script/ns_Informer.sh

# 提升版 Autoformer
bash ./scripts/Weather_script/ns_Autoformer.sh

📌 所有超参数与实验配置已预设在 ./scripts 文件夹下的各子目录中，可直接运行无需手动调整。

---

✅ 完成上述步骤后，模型将自动开始训练并输出预测结果。更多细节请参考官方论文或访问 Time-Series-Library 获取扩展支持。