PatchTST (ICLR 2023)

这是论文《PatchTST: A Time Series is Worth 64 Words: Long-term Forecasting with Transformers》（arXiv 链接）的官方实现。

:triangular_flag_on_post: 我们的模型已被集成到 GluonTS 中。特别感谢贡献者 @kashif！

:triangular_flag_on_post: 我们的模型已被集成到 NeuralForecast 中。特别感谢贡献者 @kdgutier 和 @cchallu！

:triangular_flag_on_post: 我们的模型已被集成到 timeseriesAI(tsai) 中。特别感谢贡献者 @oguiza！

我们提供了一个视频，为希望快速理解论文内容的读者提供简洁概述：https://www.youtube.com/watch?v=Z3-NrohddJw

核心设计

:star2: 分块（Patching）：将时间序列分割成子序列级别的“块”（patches），这些块作为 Transformer 的输入 token。

:star2: 通道独立性（Channel-independence）：每个通道包含一个单变量时间序列，所有序列共享相同的嵌入（embedding）和 Transformer 权重。

实验结果

有监督学习（Supervised Learning）

与基于 Transformer 模型所能达到的最佳结果相比，PatchTST/64 在 MSE 上整体降低了 21.0%，在 MAE 上整体降低了 16.7%；而 PatchTST/42 在 MSE 上整体降低了 20.2%，在 MAE 上整体降低了 16.4%。它也优于其他非 Transformer 模型，如 DLinear。

自监督学习（Self-supervised Learning）

我们将自监督版本的 PatchTST 与其他有监督和自监督模型进行了比较，结果表明自监督 PatchTST 能够超越所有基线模型。

我们还测试了将预训练模型迁移到下游任务的能力。

在长回看窗口（Long Look-back Windows）下的效率

随着回看窗口（look-back window）长度的增加，我们的 PatchTST 能够持续 降低 MSE 分数，这验证了模型从更长感受野（receptive field）中学习的能力。

快速开始

我们将有监督学习和自监督学习的代码分别放在两个文件夹中：PatchTST_supervised 和 PatchTST_self_supervised。请根据你的需求选择对应的文件夹。

有监督学习

1. 安装依赖：pip install -r requirements.txt

2. 下载数据：你可以从 Autoformer 下载所有数据集。创建一个独立的文件夹 ./dataset，并将所有 CSV 文件放入该目录。

3. 训练：所有脚本位于 ./scripts/PatchTST 目录下。默认模型为 PatchTST/42。例如，如果你想获取 weather 数据集的多变量预测结果，只需运行以下命令。训练完成后，你可以打开 ./result.txt 查看结果：

sh ./scripts/PatchTST/weather.sh

你可以根据需要调整超参数（例如不同的 patch 长度、不同的回看窗口长度和预测长度）。我们也提供了基线模型的代码。

自监督学习

1. 完成上述前两步

2. 预训练：脚本 patchtst_pretrain.py 用于训练 PatchTST/64。若要在单个 GPU 上对 ettm1 数据集运行代码，请执行以下命令：

python patchtst_pretrain.py --dset ettm1 --mask_ratio 0.4

模型将被保存到 saved_model 文件夹中，供下游任务使用。你还可以在 patchtst_pretrain.py 脚本中设置其他参数。

3. 微调（Fine-tuning）：脚本 patchtst_finetune.py 用于微调步骤，支持线性探测（linear probing）或对整个网络进行微调：

python patchtst_finetune.py --dset ettm1 --pretrained_model <model_name>

致谢

我们非常感谢以下 GitHub 仓库提供的宝贵代码库和数据集：

https://github.com/cure-lab/LTSF-Linear

https://github.com/zhouhaoyi/Informer2020

https://github.com/thuml/Autoformer

https://github.com/MAZiqing/FEDformer

https://github.com/alipay/Pyraformer

https://github.com/ts-kim/RevIN

https://github.com/timeseriesAI/tsai

联系方式

如有任何问题或建议，请联系我们：ynie@princeton.edu 或 nnguyen@us.ibm.com，或提交 issue。

引用

如果你在研究中使用了本仓库，请考虑引用我们的论文：

@inproceedings{Yuqietal-2023-PatchTST,
  title     = {A Time Series is Worth 64 Words: Long-term Forecasting with Transformers},
  author    = {Nie, Yuqi and
               H. Nguyen, Nam and
               Sinthong, Phanwadee and 
               Kalagnanam, Jayant},
  booktitle = {International Conference on Learning Representations},
  year      = {2023}
}

PatchTST 快速上手指南

PatchTST 是一种基于 Transformer 的长时序预测模型，通过将时间序列切分为“patch”（类似 NLP 中的词）提升建模效果。本指南帮助你快速运行官方代码。

环境准备

• 操作系统：Linux / macOS / Windows（推荐 Linux）
• Python 版本：≥ 3.7
• GPU 支持：建议使用 CUDA 兼容 GPU（非必需，但训练会更快）
• 依赖库：PyTorch、NumPy、Pandas 等（详见 requirements.txt）

💡 国内用户建议使用清华源或阿里源加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

安装步骤

1. 克隆仓库：

   git clone https://github.com/yuqinie98/PatchTST.git
   cd PatchTST
   

2. 安装依赖：

   pip install -r requirements.txt
   

3. 下载数据集：
   从 Autoformer 数据集 下载所需 .csv 文件（如 weather.csv、ETTh1.csv 等），并放入新建的 ./dataset 目录中：

   mkdir dataset
   # 将下载的 CSV 文件放入 ./dataset/
   

基本使用

监督学习（Supervised Learning）

以 weather 数据集为例，运行预设脚本进行多变量长时序预测：

sh ./scripts/PatchTST/weather.sh

训练完成后，结果将输出到 ./result.txt。

📌 默认使用 PatchTST/42 配置。如需调整 patch 长度、回看窗口（look-back window）或预测长度，请修改对应脚本中的参数。

自监督学习（Self-supervised Learning）

1. 预训练（以 ettm1 数据集为例）：

   python PatchTST_self_supervised/patchtst_pretrain.py --dset ettm1 --mask_ratio 0.4
   

   训练好的模型将保存在 saved_model/ 目录。

2. 微调（Fine-tuning）：

   python PatchTST_self_supervised/patchtst_finetune.py --dset ettm1 --pretrained_model <model_name>
   

   其中 <model_name> 替换为实际保存的模型文件名（不含路径）。

⚠️ 注意：自监督代码位于 PatchTST_self_supervised/ 目录，监督学习代码位于 PatchTST_supervised/，请根据需求进入对应目录操作。