Transformer_时间序列

免责声明：这并非论文中的代码。此实现不包含稀疏性，采用教师强制学习方式。仅尝试复现无稀疏性的简单示例。 增强Transformer在时间序列预测中的局部性并突破内存瓶颈（NeurIPS 2019）

对于合成数据集，能够达到论文中的结果，如下表所示：

合成数据集的构建方式如下：

对注意力层如何关注信号以预测最后一个时间步t=t0+24-1的精彩可视化：

Transformer_Time_Series 快速上手指南

本指南基于 NeurIPS 2019 论文《Enhancing the Locality and Breaking the Memory Bottleneck of Transformer on Time Series Forecasting》的非官方复现版本。该实现专注于在合成数据集上复现基础示例（无稀疏性机制，采用教师强制学习模式）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 Linux)
• Python 版本：Python 3.6+
• 核心依赖：
  • PyTorch (深度学习框架)
  • NumPy (数值计算)
  • Matplotlib (可视化绘图)
  • Pandas (数据处理)

国内加速建议： 推荐使用清华或阿里镜像源安装 Python 依赖，以提升下载速度：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch numpy matplotlib pandas

安装步骤

1. 克隆仓库 从 GitHub 获取源代码：

   git clone https://github.com/mlpotter/Transformer_Time_Series.git
   cd Transformer_Time_Series
   

2. 安装依赖 如果项目根目录下包含 requirements.txt，请执行以下命令安装所有必要库（建议使用国内镜像）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若没有 requirements.txt，请手动安装上述“环境准备”中列出的核心依赖。

基本使用

本项目主要用于在合成数据集上进行时间序列预测实验。以下是运行基础训练和验证的最简流程：

1. 生成/加载合成数据 代码通常会自动构建如 README 所示的合成数据集（正弦波组合等），无需额外下载外部数据文件。

2. 运行训练脚本 执行主脚本以启动模型训练。该过程将展示注意力机制如何关注信号以预测未来时间步（例如 $t=t_0+24-1$），并输出均方误差（MSE）学习曲线。

   python main.py
   

   (注：如果项目中主脚本名称不同，请查看根目录下的 .py 文件，通常为 train.py 或 main.py)

3. 查看结果 训练完成后，程序将自动生成类似 README 中的可视化图表：

   • Attention Visualization：注意力层对信号的聚焦视图。
   • Learning Curve：训练与验证的 Loss 下降曲线。
   • Validation Example：验证集上的预测效果对比图。

注意：此实现旨在复现论文中的简单示例结果，不包含原文中的稀疏注意力（Sparsity）机制，且采用 Teacher Forcing 策略进行训练。