用于时间序列分类的LSTM FCN

LSTM FCN模型源自论文《LSTM全卷积网络用于时间序列分类》（https://ieeexplore.ieee.org/document/8141873/），它结合了时序卷积层的快速分类性能与长短期记忆循环神经网络的精确分类能力。

多变量LSTM-FCN用于时间序列分类

通用的LSTM-FCN模型在单变量数据集上表现优异。然而，在多变量数据集上，我们发现直接应用该模型的效果并不理想。因此，我们针对此类数据集提出了多变量LSTM-FCN (MLSTM-FCN)。

论文：多变量LSTM-FCN用于时间序列分类
仓库：MLSTM-FCN

LSTM-FCN用于时间序列分类的消融研究

过去一年里，社区围绕该模型的细节提出了许多问题，例如：

• 为什么选择将全卷积网络与LSTM相结合？
• 维度洗牌到底起到了什么作用？
• 维度洗牌之后，LSTM是否就完全失去了其循环特性？
• 为什么不直接用GRU等其他RNN替代LSTM？
• 这种组合究竟带来了哪些实际的性能提升？

为此，我们进行了一项详尽的消融研究，共设计并执行了近3,627组实验，旨在分析和解答上述问题，从而更深入地理解LSTM-FCN/ALSTM-FCN时间序列分类模型及其各个子模块。

题为《关于LSTM全卷积网络用于时间序列分类的见解》的论文详细探讨并从统计学角度分析了维度洗牌后的LSTM对全卷积网络所带来的优势。

论文：关于LSTM全卷积网络用于时间序列分类的见解
仓库：LSTM-FCN-Ablation

安装

下载本仓库，并运行 pip install -r requirements.txt 以安装所需的依赖库。

模型开发过程中使用的是Keras配合TensorFlow后端，目前暂不支持Theano或CNTK后端。权重文件尚未在这些后端上进行测试。

数据可从以下链接以压缩包形式获取：http://www.cs.ucr.edu/~eamonn/time_series_data/
解压后会得到127个不同的文件夹。将工具脚本 extract_all_datasets.py 复制到该文件夹中并运行，即可生成一个名为 _data 的文件夹，其中包含所有127个数据集的解压内容。随后将这些文件剪切并粘贴到 Data 目录下。

注意：所有模型的输入层输入会被预先洗牌成形状为 (Batchsize, 1, Number of timesteps)，并在送入CNN之前再次洗牌（以获得正确的形状 (Batchsize, Number of timesteps, 1)）。这与论文中的做法有所不同：论文中输入的形状为 (Batchsize, Number of timesteps, 1)，且洗牌操作是在LSTM之前进行，以得到 (Batchsize, 1, Number of timesteps) 的输入形状。这两种操作在功能上是等价的。

训练与评估

提供的代码和权重文件可用于评估全部127个UCR数据集。具体说明请参阅权重目录。

现在只需运行一个脚本，即可在三个不同的单元配置（8、64、128）下，对LSTM-FCN及其注意力变体在127个数据集上进行所有可能的组合循环训练。

• 使用LSTM FCN模型：model = generate_lstmfcn()
• 使用ALSTM FCN模型：model = generate_alstmfcn()

训练

训练过程位于 all_datasets_training.py 的最内层循环中。

需提前设置以下几个参数：

• 数据集：数据集应以 (dataset name, id) 的形式列出。所有127个数据集的 (name, id) 对已预先设定好，对应于 utils 目录下的 constants.py 文件中的ID。

• 模型：模型列表应以 (model_name, model_function) 的形式定义。请注意：model_function 必须是一个返回Keras Model的对象，而非实际的模型实例。该函数可以接受3个参数——最大序列长度、类别数以及可选的单元数量。

• 单元：需要训练的单元配置。默认为 [8, 64, 128]，与论文一致。

完成上述设置后，训练开始时，每个模型将按照指定参数进行训练，并生成日志文件，记录所有相关参数以及训练结束时的训练集和测试集准确率。权重文件会自动保存到相应目录，可供后续分析使用。

训练内循环

要训练某个模型，请取消注释下方代码行并执行脚本。注意：???????' 已经被预设，无需替换，它代表保存的权重文件前缀。此外，如果已有权重文件存在，此操作将会覆盖原有权重。

train_model(model, did, dataset_name_, epochs=2000, batch_size=128,normalize_timeseries=normalize_dataset)

评估内循环

要评估模型性能，只需取消注释下方代码行并执行脚本即可。

evaluate_model(model, did, dataset_name_, batch_size=128,normalize_timeseries=normalize_dataset)

评估

没有单独的评估脚本。若需重新评估已训练好的模型，请在最内层循环中注释掉 train_model 函数。

可视化

由于文件夹和权重路径的命名是自动生成的，因此在进行以下所有可视化操作时，需要仔细选择3个共同参数：

• DATASET_ID：constants.py 中用于标识数据集的唯一整数ID。
• num_cells：使用的LSTM或注意力LSTM单元数量。
• model：用于构建相应Keras模型的模型函数。

接下来还需要选择 dataset_name 和 model_name。dataset_name 必须与 all_dataset_traning.py 脚本中列出的数据集名称一致。同样，model_name 必须与 all_dataset_training.py 中 MODELS 列表里的模型名称匹配。

滤波器可视化

要可视化LSTMFCN或注意力LSTMFCN的卷积滤波器输出，请使用 visualize_filters.py 脚本。

该脚本有两个参数：CONV_ID 表示卷积块编号（取值范围为 [0, 2]），而 FILTER_ID 则决定了选择哪一组卷积层滤波器。其取值范围取决于所选的 CONV_ID：当 CONV_ID = {0, 2} 时，取值范围为 [0, 127]；当 CONV_ID = 1 时，取值范围为 [0, 255]。

上下文可视化

要可视化 Attention LSTM 模块的上下文向量，请使用 visualize_context.py 脚本。

要在数据集的所有样本上生成上下文，需将 LIMIT=None 修改为相应值。同时建议将 VISUALIZE_CLASSWISE=False 设置为真，以加快计算速度。请注意，对于较大的数据集，生成图像可能需要极长的时间，且输出效果可能并不理想。我们建议改为按类别分别可视化，每类取一个样本，如上所示。

类激活图

要可视化最后一层卷积层的类激活图，请执行 visualize_cam.py 脚本。可通过更改 CLASS_ID 的值（从 0 到类数减 1）来改变所可视化输入信号的类别。

结果

基于测试验证检查点的结果

基于最小训练损失的结果

临界差异图

Wilcoxon 符号秩检验——统计检验

在应用 Dunn-Sidak 校正后，我们将 p 值表与显著性水平 α=0.00465 进行比较。结果显示，ALSTM、LSTM 以及集成方法（COTE 和 EE）在统计学上无显著差异。

引用

@article{karim2018lstm,
  title={LSTM 全卷积网络用于时间序列分类},
  author={Karim, Fazle 和 Majumdar, Somshubra 和 Darabi, Houshang 和 Chen, Shun},
  journal={IEEE Access},
  volume={6},
  pages={1662--1669},
  year={2018},
  publisher={IEEE}
}

LSTM-FCN 快速上手指南

LSTM-FCN 是一种用于时间序列分类的高性能模型，它结合了全卷积网络（FCN）的快速分类能力与长短期记忆网络（LSTM）的精确时序特征提取能力。本指南将帮助您快速搭建环境并运行模型。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6 - 3.8
• 核心框架：本项目基于 Keras 开发，后端必须使用 TensorFlow。
  • 注意：目前不支持 Theano 或 CNTK 后端。
• 硬件建议：虽然可在 CPU 上运行，但建议使用 NVIDIA GPU 以加速训练过程。

安装步骤

1. 克隆仓库 首先下载项目源代码：

   git clone https://github.com/titu1994/LSTM-FCN.git
   cd LSTM-FCN
   

2. 安装依赖 使用 pip 安装所需的 Python 库。国内用户建议使用清华源或阿里源以加速下载：

   # 默认源
   pip install -r requirements.txt
   
   # 推荐：使用清华镜像源加速安装
   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 准备数据集 本项目默认使用 UCR 时间序列归档数据集。

   • 下载地址：http://www.cs.ucr.edu/~eamonn/time_series_data/
   • 解压下载的 zip 文件，您将得到 127 个文件夹。
   • 将项目中的工具脚本 extract_all_datasets.py 复制到解压后的目录中并运行，它将生成一个包含所有数据的 _data 文件夹。
   • 将生成的数据文件剪切并粘贴到项目根目录下的 Data 文件夹中。

基本使用

本项目提供了统一的脚本来处理模型的训练与评估。以下是如何调用不同变体模型的最简示例。

1. 选择模型

在代码中，您可以通过调用相应的生成函数来实例化模型：

• 使用标准 LSTM-FCN 模型：

  model = generate_lstmfcn()
  

• 使用带注意力机制的 ALSTM-FCN 模型：

  model = generate_alstmfcn()
  

2. 训练模型

训练逻辑位于 all_datasets_training.py 脚本的内层循环中。您需要配置数据集列表、模型定义以及 LSTM 单元数量（默认为 [8, 64, 128]）。

取消注释以下代码行即可开始训练单个模型：

# 参数说明：
# model: 上述生成的模型对象
# did: 数据集 ID (对应 utils/constants.py)
# dataset_name_: 数据集名称
# epochs: 训练轮数
# batch_size: 批次大小
# normalize_timeseries: 是否归一化

train_model(model, did, dataset_name_, epochs=2000, batch_size=128, normalize_timeseries=normalize_dataset)

注：权重文件会自动保存在指定目录。如果目录中已存在权重文件，再次运行将会覆盖。

3. 评估模型

若要评估已训练好的模型性能，无需单独的运行脚本。只需在 all_datasets_training.py 中注释掉 train_model 函数，并取消注释 evaluate_model 函数即可：

evaluate_model(model, did, dataset_name_, batch_size=128, normalize_timeseries=normalize_dataset)

4. 可视化（可选）

项目提供了三个脚本用于分析模型内部机制：

• 卷积滤波器可视化：

  python visualize_filters.py
  

  需设置 CONV_ID (0-2) 和 FILTER_ID。

• 注意力上下文向量可视化：

  python visualize_context.py
  

  建议设置 LIMIT=None 以生成全量样本的上下文，或按类别采样以加快速度。

• 类激活图 (CAM) 可视化：

  python visualize_cam.py
  

  通过修改 CLASS_ID 来查看不同类别的激活区域。