基于时频一致性的自监督对比预训练用于时间序列

作者：张翔 (xiang.alan.zhang@gmail.com)、赵子源(ziyuanzhao@college.harvard.edu)，

西奥多罗斯·齐利加里迪斯(ttsili@ll.mit.edu)、马林卡·齐特尼克 (marinka@hms.harvard.edu)

项目网站

TF-C 论文：NeurIPS 2022、预印本

概述

本仓库包含八个经过处理的数据集，以及为论文《基于时频一致性的自监督对比预训练用于时间序列》开发的 TF-C 预训练模型代码（连同基线模型）。我们提出了 TF-C，这是一种新颖的预训练方法，用于学习可跨不同时间序列数据集迁移的通用特征。我们在八个具有不同传感器测量和语义含义的时间序列数据集上，针对四个真实世界应用场景进行了评估。下图概述了我们的 TF-C 方法背后的思想及其广泛的适用性。该思想如 (a) 所示：给定一个时间序列样本，在潜在的时频空间中，基于时间的嵌入与基于频率的嵌入被拉近。应用场景如 (b) 所示：通过在时间序列中利用 TF-C，我们可以将预训练模型泛化到手势识别、故障检测和癫痫发作分析等多种场景。

TF-C 的核心思想

我们的模型在大规模预训练时间序列数据集中捕捉了时间序列的可泛化特性——时频一致性（TF-C）。所谓时频一致性，是指从同一时间序列样本中学习到的基于时间和基于频率的表示，在联合时频空间中彼此更接近；而如果这些表示来自不同的时间序列样本，则会更加远离。通过建模这种专属于时间序列的特性，所开发的模型能够捕捉时间序列中的底层共性模式，并进一步促进知识在不同时间序列数据集之间的迁移。这些不同的时间序列数据集往往存在复杂性，例如各数据集之间的时间动态变化巨大、语义含义各异、采样不规则、系统因素（如不同设备或受试者）等。

此外，所开发的模型采用对比学习框架，实现了自监督预训练（无需预训练数据集中的标签）。我们的 TF-C 方法如下图所示。

TF-C 方法概述。 我们的模型由四个组件组成：时间编码器、频率编码器，以及两个跨空间投影器，分别将基于时间的表示和基于频率的表示映射到同一个时频空间。这四个组件共同作用，可以将输入的时间序列嵌入到潜在的时频空间中，使基于时间的嵌入与基于频率的嵌入相互靠近。 通过促进潜在时频空间中基于时间和基于频率的表示对齐，TF-C 特性得以实现，从而为将训练好的模型迁移到未曾见过的目标数据集提供了途径。

数据集

我们准备了八个数据集，用于四个不同的场景，以此比较我们的方法与基线模型。这些场景包括电诊断测试、人类日常活动识别、机械故障检测和身体状态监测。

原始数据

(1). SleepEEG 包含 153 个整夜睡眠脑电图（EEG）记录，由睡眠监测仪采集。数据来自 82 名健康受试者。单导联 EEG 信号以 100 Hz 采样率采集。我们将 EEG 信号分割成无重叠的片段（窗口大小为 200），每个片段构成一个样本。每个样本对应五种睡眠模式/阶段之一：清醒（W）、非快速眼动睡眠（N1、N2、N3）和快速眼动睡眠（REM）。分割后，我们得到 371,055 个 EEG 样本。该 原始数据集 依据开放数据共享署名许可协议 v1.0 发布。

(2). 癫痫 数据集包含500名受试者的单通道脑电图测量数据。对于每位受试者，其脑活动被记录了23.6秒。随后，数据集被分割并打乱（以减少样本与受试者之间的关联），形成11,500个1秒长的样本，采样频率为178 Hz。原始数据集包含5个不同的分类标签，分别对应受试者的不同状态或测量位置：睁眼、闭眼、健康脑区的脑电图、肿瘤所在区域的脑电图，以及正在发作癫痫的受试者。为了突出癫痫阳性与阴性样本之间的区别，我们将前4类合并为一类，每个时间序列样本都带有二元标签，用于描述相关受试者是否正在发作癫痫。整个数据集共有11,500个脑电图样本。为了评估预训练模型在小规模微调数据集上的性能，我们选择了一个小型子集（60个样本；每类30个）进行微调，并使用验证集（20个样本；每类10个）对模型进行评估。表现最佳的模型将用于对测试集（剩余的11,420个样本）进行预测。原始数据集 依据知识共享署名4.0协议（CC-BY）发布。

(3), (4). FD-A 和 FD-B 是从 FD 数据集中提取的子集，该数据集来自一个机电驱动系统，用于监测滚动轴承的状态并检测其损坏情况。数据集包含四个在不同工况下采集的子集，这些工况的参数包括转速、负载扭矩和径向力。每个滚动轴承可能处于完好、内圈损坏或外圈损坏状态，因此总共分为三类。我们分别将对应工况A和工况B的子集称为故障检测工况A（FD-A）和故障检测工况B（FD-B）。每段原始记录为单通道，采样频率为64 kHz，持续时间为4秒。为处理较长的时长，我们遵循Eldele等人的方法，即使用5,120个观测值的滑动窗口，步长分别为1,024或4,096，以使最终各分类下的样本数量相对均衡。原始数据集 依据知识共享署名-非商业性使用4.0国际许可协议发布。

(5). HAR 数据集包含30名健康志愿者执行六种日常活动的记录，包括步行、上楼梯、下楼梯、坐下、站立和躺下。预测标签即为这六种活动。智能手机上的可穿戴传感器以50 Hz的频率测量三轴线加速度和三轴角速度。经过预处理并从身体加速度中分离出重力加速度后，共得到九个通道。为了使语义域与微调实验中使用的Gesture数据集中的通道保持一致，我们仅保留身体线加速度的三个通道。原始数据集 按“原样”提供，作者及其所属机构对其使用或误用不承担任何明示或暗示的责任。禁止任何商业用途。

(6). Gesture 数据集包含八种简单手势的加速度计测量数据，这些手势根据手部运动轨迹的不同而有所区分。这八种手势是：左手划动、右手划动、向上划动、向下划动、逆时针划圆、顺时针划圆、划方形以及划右箭头。分类标签即为这八种不同类型的手势。原始论文报告称包含了4,480次手势测量，但通过UCR数据库我们仅恢复了440次测量。该数据集每类有55个样本，分布均衡，且规模适于我们的微调实验目的。原始论文未明确报告采样频率，但推测为100 Hz。数据集使用三个通道，分别对应线加速度的三个坐标方向。原始数据集 公开可用。

(7). ECG 是2017年PhysioNet挑战赛的一个子集，该挑战赛专注于心电图记录的分类。单导联心电图用于测量四种不同的心脏节律异常状况。具体而言，这些类别对应于正常窦性心律、心房颤动（AF）、交替性心律以及其他（噪声过大无法分类）的记录。记录的采样频率为300 Hz。此外，数据集存在不平衡问题，心房颤动和噪声过大的类别样本数量远少于其他两类。为了预处理数据集，我们采用CLOCS论文中的代码，即使用固定长度为1,500个观测值的窗口，将长时间记录分割成5秒钟的短样本，这些样本仍具有生理意义。原始数据集 依据开放数据知识共享署名许可证v1.0发布。

(8). 肌电图（EMG）用于测量肌肉在神经刺激下的电活动响应，可用于诊断某些肌营养不良症和神经病变。EMG 数据集由三名志愿者的胫前肌单通道肌电图记录组成，这三名志愿者分别健康、患有神经病变和患有肌病。记录的采样频率为4 kHz。每位患者及其所患疾病被视为一个独立的分类类别。随后，记录被分割成时间序列样本，使用固定长度为1,500个观测值的窗口。原始数据集 依据开放数据知识共享署名许可证v1.0发布。

下表总结了所有八个数据集的统计信息：

场景编号		数据集	样本数量	通道数	类别数	长度	频率 (Hz)
1	预训练	SleepEEG	371,055	1	5	200	100
	微调	Epilepsy	60/20/11,420	1	2	178	174
2	预训练	FD-A	8,184	1	3	5,120	64K
	微调	FD-B	60/21/13,559	1	3	5,120	64K
3	预训练	HAR	10,299	9	6	128	50
	微调	Gesture	320/120/120	3	8	315	100
4	预训练	ECG	43,673	1	4	1,500	300
	微调	EMG	122/41/41	1	3	1,500	4,000

处理后的数据

我们在此详细说明数据预处理过程，并突出一些关键步骤以确保清晰。更多细节请参阅论文附录。总体而言，我们的数据处理分为两个阶段。首先，对于过长的时间序列记录，我们会将其分段。对于微调（目标）数据集，我们将数据集划分为训练集、验证集和测试集。在可能的情况下，我们会尽量将属于同一记录的所有样本分配到同一个分区，以避免测试集中的数据泄露到训练集中；但对于已预处理的数据集，如癫痫数据集，则无法做到这一点。训练集与验证集的比例约为3:1，并且我们尽可能为每个类别分配均衡的样本数量。所有未包含在训练和验证分区中的剩余样本都会被放入测试分区，以便更准确地评估模型的性能指标。完成第一阶段后，我们为每个数据集生成了三个对应于三个分区的*.pt*文件（PyTorch格式）。每个文件包含一个字典，键分别为samples和labels，对应的值则是存储数据的PyTorch张量。对于样本，张量的维度分别对应样本数量、通道数以及每个时间序列样本的长度。这是TS-TCC模型以及我们的TF-C实现可以直接读取的标准格式。

第二步是将每个数据集的三个*.pt*文件转换为各基线模型所接受的输入格式，并将其放置到与负责预训练和微调流程的脚本相对应的正确目录中。我们为此准备了简单的脚本，但并未将其自动化。为了进一步减少仓库中的文件杂乱，我们选择不在基线文件夹中包含这些脚本。此外，请注意，在一对多预训练的第二个实验中，微调数据集会被进一步裁剪，使其长度与sleepEEG数据集相同。

第一步 处理后的数据集可以通过以下链接手动下载。

• wget -O SleepEEG.zip https://figshare.com/ndownloader/articles/19930178/versions/1
• wget -O Epilepsy.zip https://figshare.com/ndownloader/articles/19930199/versions/2
• wget -O FD-A.zip https://figshare.com/ndownloader/articles/19930205/versions/1
• wget -O FD-B.zip https://figshare.com/ndownloader/articles/19930226/versions/1
• wget -O HAR.zip https://figshare.com/ndownloader/articles/19930244/versions/1
• wget -O Gesture.zip https://figshare.com/ndownloader/articles/19930247/versions/1
• wget -O ECG.zip https://figshare.com/ndownloader/articles/19930253/versions/1
• wget -O EMG.zip https://figshare.com/ndownloader/articles/19930250/versions/1

然后需要将这些文件放置到data/dataset_name下的相应文件夹中（例如data/SleepEEG）：

处理完善的数据集将在论文接收后发布（在FigShare上）。

或者，您也可以使用download_datasets.sh脚本自动下载并解压所有数据集到各自的目录中，从而立即完成预处理的第一步。

第二步 现在我们详细说明第二步。首先，TS-TCC和TS-SD（以及我们的TF-C模型）作为TS-TCC代码库的一部分，可以直接使用上一步下载的数据集。剩下的工作只是在TS-TCC/data/dataset_name下创建相应的子目录，并将数据集放入其中。这由shell脚本data_processing/TS-TCC.sh完成，它会创建文件夹和指向下载文件的软链接。

对于TS2Vec，它使用的{train,test}_{input,output}.npy文件格式与Mixing-up完全相同，因此我们可以只对下载的数据集进行一次处理，并将其用于这两种模型。数据格式的唯一区别在于标签张量是二维的，因此我们需要为每个这样的张量插入一个新的维度。这一操作在data_processing/Mixing-up.py中完成，随后我们可以运行data_processing/TS2vec.sh来为处理后的文件创建别名。

接下来，对于CLOCS，我们需要构建一个更为复杂的嵌套字典，其中包含时间序列和标签。此外，由于CLOCS假设我们在数据预处理过程中已经丢弃了通道信息，因此时间序列样本现在以二维张量的形式存储，即去除了通道维度。同样，最终的数据集应放置在正确的位置，格式为CLOCS/data/dataset_name。然而，由于别名问题，实际使用的名称可能与我们在论文中命名的数据集不一致。请使用Python脚本data_processing/CLOCS.py自动完成上述步骤。

最后，对于SimCLR，我们没有单独的数据文件夹，而是直接将文件放置在SimCLR/dataset_name目录下。关于数据本身，需要注意的是，存储时间序列的张量其第二和第三维（分别对应通道和观测值）与初始文件相比发生了互换。此外，标签不能是数值形式，而必须采用独热编码格式。这些操作都在data_processing/SimCLR.py脚本中完成，以方便操作。

当然，我们还提供了一个快捷脚本，只需在Git仓库的根目录下运行process_all.sh即可完成以上所有步骤。在运行这些脚本之前，请确保您处于baseline_requirements.yml中指定的正确环境中。

实验设置

我们在两种不同的设置下评估了我们的模型，并将其与八种基线方法进行了对比。这些基线包括六种可用于时间序列迁移学习的最先进模型，以及两种非预训练模型（一种非深度学习方法，此处为KNN；另一种是随机初始化的模型）。这两种不同的设置如下：

设置1：一对一预训练。 我们在一个预训练数据集上对模型进行预训练，然后仅在单个目标数据集上进行微调。我们分别在四个独立场景中测试了所提出的模型：神经阶段检测、机械设备诊断、活动识别和身体状态监测。例如，在场景1（神经阶段检测）中，我们使用SleepEEG数据集进行预训练，然后在Epilepsy数据集上进行微调。尽管这两个数据集都描述的是单通道脑电图信号，但它们来自头皮上的不同通道/位置，监测的是不同的生理过程（睡眠与癫痫），并且采集自不同的患者。这种设置模拟了实际应用中广泛存在的场景：当存在领域差距且微调数据集较小时，迁移学习可能非常有用。

设置2：一对多预训练。 我们使用一个数据集进行预训练，随后在多个目标数据集上分别进行微调，而不从头开始重新预训练。我们选择SleepEEG作为预训练数据集，因为它数据量大且具有复杂的时序动态。然后我们在来自其他三个场景的Epilepsy、FD-B和EMG数据集上进行微调。这一次，预训练数据集与三个微调数据集之间的领域差距更大，因此该设置用于检验我们模型在迁移学习中的通用性。

环境要求

TF-C已在Python >=3.5环境下进行过测试。

对于基线模型，由于原始实现差异较大，我们未能统一运行环境。因此，您需要搭建三个不同的环境来覆盖所有六个深度学习基线。对于ts2vec，请使用ts2vec_requirements.yml文件；对于SimCLR，由于Tang等人使用的是TensorFlow框架，因此请使用simclr_requirements.yml文件；对于其余四家基线，则使用baseline_requirements.yml文件。要通过Conda使用这些文件安装本项目所需的依赖项，请运行以下命令：

conda env create -f XXX_requirements.yml

代码运行

复现我们的TF-C 请将处理好的数据集下载到code/data/SleepEEG文件夹中，并确保文件夹名称与数据集名称一致。有三个关键参数：training_mode有两个选项，分别为pre_train和fine_tune_test；pretrain_dataset有四个选项，分别是SleepEEG、FD_A、HAR和ECG；target_dataset也有四个选项，分别是Epilepsy、FD_B、Gesture和EMG。模型的超参数可在config_files文件夹中的配置文件中找到。例如，当您在SleepEEG数据集上预训练模型并在Epilepsy数据集上进行微调时，请运行：

python main.py --training_mode pre_train --pretrain_dataset SleepEEG --target_dataset Epilepsy

python main.py --training_mode fine_tune_test --pretrain_dataset SleepEEG --target_dataset Epilepsy

复现基线模型 建议您尽可能按照各基线作者在其README.md文件中描述的命令行模式，从code/baselines/下的相应文件夹中运行模型。需要注意的是，在Mixing-up和SimCLR的情况下，预训练和微调是通过直接运行train_model.py和finetune_model.py完成的，无需传递参数。同样地，对于CLOCS，必须手动修改主文件（此处为run_experiments.py）中的超参数设置。如果您对这些基线模型的超参数设置有任何疑问，请联系其原作者。最后，对于每种基线，在不同的数据集组合上，迁移学习的效果会因超参数的选择而有所不同。我们已手动尝试了多种组合，并选择了在保持各基线模型复杂度相当的同时，能够获得最佳性能的参数配置。我们会在相应基线的文件夹中提供表格，详细列出针对不同数据集所使用的具体超参数组合，以便于复现我们的实验结果。请注意，某些基线是专为时间序列的表示学习设计的（而非预训练），我们将这些基线置于与我们的模型相同的实验设置中，以确保结果的可比性。

引用

如果您发现TF-C对您的研究有所帮助，请考虑引用本文：

```
@inproceedings{zhang2022self,
title = {Self-Supervised Contrastive Pre-Training For Time Series via Time-Frequency Consistency},
author = {Zhang, Xiang and Zhao, Ziyuan and Tsiligkaridis, Theodoros and Zitnik, Marinka},
booktitle = {Proceedings of Neural Information Processing Systems, NeurIPS},
year      = {2022}
}
```

更新于2023年1月

我们在以下几个方面对所提出的TF-C模型的实现进行了更新：

1. 修复了错误、清理了代码，并添加了注释以提高可读性。新上传的TF-C代码位于路径 TFC-pretraining/code/TFC 下。该文件夹中提供了运行所需的所有必要文件。
2. 对于时域和频域中的对比编码器，我们将原有的三层卷积神经网络块替换为两层Transformer。我们发现，虽然性能并未提升（甚至略有下降），但模型的稳定性有所改善。
3. 在下游分类器部分，我们在原有的两层MLP分类器之外，新增了一个KNN分类器。初步实验表明，MLP的性能会因不同的设置和超参数而波动。因此，在本版本中，我们同时提供了两种分类器：两层MLP和KNN（K=5）。然而，导致性能波动的具体原因仍不明确，有待进一步研究。
4. 为了便于复现，我们在此提供一个预训练模型的示例。模型权重位于路径 TFC-pretraining/code/experiments_logs/SleepEEG_2_Epilepsy/run1/pre_train_seed_42_2layertransformer/saved_models/ckp_last.pt。该模型路径与代码中使用的路径一致，因此您可以直接克隆或下载整个仓库，并运行 TFC-pretraining/code/TFC/main.py 文件。
   • 该模型是在“SleepEEG到Epilepsy”场景下预训练的（本次更新的所有调试均基于此设置）。具体而言，将训练模式设置为 pre_train，预训练数据集设置为 SleepEEG。在 SleepEEG_Configs.py 中，所有超参数均未更改，即学习率lr=0.0005，预训练轮数为200（而微调轮数为20）。随机种子设置为42。
   • 在Epilepsy数据集上的微调阶段（学习率lr=0.0005，轮数20，批次大小60），微调集仍为60个样本（30个阳性+30个阴性）。验证集包含20个样本，测试集则有11420个样本。不过，为了测试模型的稳定性，我们重新划分了Epilepsy数据集（即重新生成了60个微调样本）。重新划分的代码位于 TFC-pretraining/code/TFC/Data_split.py，划分后的数据集已上传至本仓库的 TFC-pretraining/datasets/Epilepsy/ 目录下，并同步至Figshare。
   • 在上述设置下，借助TF-C框架，微调集上的最佳测试性能为F1约0.88（由MLP实现，优于KNN）；而在未进行TF-C预训练的情况下，该指标仅为约0.60。请注意，为便于快速调试，该模型是在SleepEEG数据集的一个子集上预训练的（仅1280个样本，占整个数据集不到1%）。因此，我们认为，若使用更多预训练样本，模型性能仍有较大提升空间。
5. 我们希望在后续工作中分享更多可能改进TF-C框架的想法：
   • 可根据具体任务调整两层Transformer的结构（例如，针对复杂的时间序列增加层数）。对主干网络的优化可能会有所帮助。另外，切换到Transformer后，我们并未对超参数进行调优，采用更优的超参数组合（如层数、Transformer的维度、MLP隐藏层的维度等）可能会带来更好的效果。
   • 在基于时间的编码器和基于频率的编码器中使用不同的架构。由于信号在频域和时域中的特性差异较大，采用专门的编码器架构有助于更好地捕捉信息。
   • 探索更多频域增强方法。目前我们主要通过添加或移除频率成分来进行增强，未来可以尝试设计更多扰动方式（如带通滤波）。
   • 在频域中，我们仅利用了幅度信息，而相位同样非常重要。因此，未来的重要研究方向是充分挖掘频域中的信息。
   • 改进投影机制。目前我们将时域和频域的嵌入投影到一个共享的时频域中，所使用的投影器结构为两层MLP，较为简单。欢迎探索更强大、更有帮助的投影方法。
   • 还有许多其他想法有待补充。

其他说明

如果您对代码和/或算法有任何疑问，请发送邮件至 xiang.alan.zhang@gmail.com。

许可证

TF-C代码库采用MIT许可证发布。

TFC-pretraining 快速上手指南

TFC (Time-Frequency Consistency) 是一种针对时间序列数据的自监督对比预训练方法。它通过拉近同一时间序列样本在“时域”和“频域”的嵌入表示，学习可迁移的通用特征，适用于睡眠分析、癫痫检测、故障诊断等多种场景。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 18.04+) 或 macOS
• Python 版本: Python 3.7 - 3.9
• 硬件要求: 建议使用支持 CUDA 的 NVIDIA GPU 进行加速（预训练过程计算量较大）
• 前置依赖:
  • PyTorch (>= 1.8.0)
  • NumPy
  • SciPy
  • Scikit-learn
  • Pandas

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆仓库到本地：

git clone https://github.com/mims-harvard/Raindrop.git
cd Raindrop
# 注意：根据 README 描述，TF-C 代码位于此仓库中，请确认具体子目录或文件结构

(注：如果该项目有独立的 TF-C 专用仓库，请替换为对应的 git clone 地址。根据提供的 README，作者关联了 mims-harvard/Raindrop，但具体 TF-C 代码通常在名为 TF-C 的独立仓库或该仓库的特定分支中。若存在独立仓库 xiangzhang/TF-C，请使用：git clone https://github.com/xiangzhang/TF-C.git)

假设使用标准 Python 包管理，安装依赖：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install numpy scipy scikit-learn pandas matplotlib

国内加速提示：如果您在中国大陆，建议使用清华或阿里镜像源加速 PyTorch 和其他包的安装：

pip install torch torchvision torchaudio --index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
pip install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple/

2. 数据准备

本项目包含 8 个处理好的数据集（SleepEEG, Epilepsy, FD-A/B, HAR, Gesture, ECG, EMG）。

• 自动下载：检查项目中是否包含数据下载脚本（通常位于 data/ 或 scripts/ 目录下），运行即可自动获取预处理后的数据。
• 手动放置：如果需手动下载原始数据，请参考 README 中的链接下载，并按照项目要求的格式放入 data/ 目录。

基本使用

以下是基于命令行运行 TF-C 预训练及微调的最简流程。

1. 运行预训练 (Pre-training)

在无标签的大规模数据集上进行自监督预训练，学习时频一致性特征。

python main.py --mode pretrain \
               --dataset SleepEEG \
               --gpu_id 0 \
               --batch_size 256 \
               --epochs 100

• --mode: 设置为 pretrain。
• --dataset: 选择预训练数据集（如 SleepEEG, HAR 等）。
• 模型权重将默认保存在 checkpoints/ 目录。

2. 运行微调 (Fine-tuning)

使用预训练好的模型，在小规模标注数据集上进行微调以执行分类任务。

python main.py --mode finetune \
               --pretrained_path checkpoints/tfc_pretrain_sleep.pth \
               --dataset Epilepsy \
               --gpu_id 0 \
               --batch_size 64 \
               --epochs 50

• --mode: 设置为 finetune。
• --pretrained_path: 指向第一步生成的预训练模型权重文件。
• --dataset: 指定下游任务数据集（如 Epilepsy, FD-A 等）。

3. 评估结果

微调完成后，脚本会自动在测试集上评估模型性能，输出准确率 (Accuracy)、F1 分数等指标。

Test Accuracy: 0.9234
Macro F1 Score: 0.9105

---

提示：具体的超参数（如学习率、编码器层数等）可根据不同数据集的特性在 config.py 或通过命令行参数进行调整，详见项目源码注释。