Keras TCN

Keras 时间卷积网络。[论文]

已在 Tensorflow 2.9、2.10、2.11、2.12、2.13、2.14、2.15、2.16、2.17、2.18、2.19 上进行测试（截至2025年3月13日）。

如需使用 R 语言 的完整可用 Keras TCN 示例，请浏览此处。

pip install keras-tcn

对于 MacOS 用户 使用 GPU：pip install tensorflow-metal。

为什么选择 TCN（时间卷积网络）而非 LSTM/GRU？

• 在相同容量下，TCN 具有比循环架构更长的内存。
• 在长时序数据上表现优于 LSTM/GRU（例如 Seq. MNIST、加法问题、复制记忆、词级 PTB 等）。
• 并行性（卷积层）、灵活的感受野大小（模型能“看到”多远）、稳定的梯度（相比通过时间反向传播的梯度消失问题）……

扩张因果卷积层堆叠的可视化（Wavenet，2016）

TCN 层

TCN 类

TCN(
    nb_filters=64,
    kernel_size=3,
    nb_stacks=1,
    dilations=(1, 2, 4, 8, 16, 32),
    padding='causal',
    use_skip_connections=True,
    dropout_rate=0.0,
    return_sequences=False,
    activation='relu',
    kernel_initializer='he_normal',
    use_batch_norm=False,
    use_layer_norm=False,
    go_backwards=False,
    return_state=False,
    **kwargs
)

参数说明

• nb_filters：整数。卷积层中使用的滤波器数量。类似于 LSTM 的 units。可以是一个列表。
• kernel_size：整数。每个卷积层中使用的卷积核大小。
• dilations：列表/元组。扩张列表。示例：[1, 2, 4, 8, 16, 32, 64]。
• nb_stacks：整数。使用的残差块堆栈数量。
• padding：字符串。卷积中使用的填充方式。“causal”表示因果网络（如原始实现），“same”表示非因果网络。
• use_skip_connections：布尔值。是否在每个残差块中添加从输入到输出的跳跃连接。
• return_sequences：布尔值。是否返回输出序列中的最后一个结果，还是整个序列。
• dropout_rate：介于 0 和 1 之间的浮点数。丢弃输入单元的比例。
• activation：残差块中使用的激活函数，即 o = activation(x + F(x))。
• kernel_initializer：卷积层权重矩阵的初始化方法（Conv1D）。
• use_batch_norm：是否在残差层中使用批归一化。
• use_layer_norm：是否在残差层中使用层归一化。
• go_backwards：布尔值（默认为 False）。如果为 True，则反向处理输入序列并返回反转后的序列。
• return_state：布尔值。是否在输出之外返回最后一个状态。默认为 False。
• kwargs：用于配置父类 Layer 的其他参数。例如，“name=str”，模型名称。当使用多个 TCN 时，应使用唯一名称。

输入形状

形状为 (batch_size, timesteps, input_dim) 的三维张量。

timesteps 可以是 None。这在每个序列长度不同时很有用：多长度序列示例。

输出形状

• 如果 return_sequences=True：形状为 (batch_size, timesteps, nb_filters) 的三维张量。
• 如果 return_sequences=False：形状为 (batch_size, nb_filters) 的二维张量。

如何选择合适的参数来配置我的 TCN 层？

以下是我使用 TCN 的一些经验总结：

• nb_filters：任何卷积网络架构中都存在。它与模型的预测能力相关，并影响网络规模。通常越多越好，除非开始过拟合。这也类似于 LSTM/GRU 架构中的单元数量。

• kernel_size：控制卷积操作中考虑的空间范围/体积。通常取值在 2 到 8 之间。如果你认为序列主要依赖于 t-1 和 t-2，而对其他部分依赖较小，则可选择 2 或 3 的卷积核大小。对于 NLP 任务，我们倾向于更大的卷积核。较大的卷积核会使网络规模显著增大。

• dilations：控制 TCN 层的深度。通常建议使用包含多个 2 的列表。可以通过将 TCN 的感受野与序列中特征的长度相匹配来估算需要多少个扩张。例如，如果输入序列是周期性的，可以考虑将周期的倍数作为扩张值。

• nb_stacks：除非你的序列非常长（如包含数十万个时间步的波形），否则作用不大。

• padding：我只使用过“causal”，因为 TCN 代表时间卷积网络。因果填充可以防止信息泄漏。

• use_skip_connections：跳跃连接类似于 DenseNet，用于连接各层，有助于梯度流动。除非性能下降，否则应始终启用。

• return_sequences：与 LSTM 层中的参数相同。请参考 Keras 文档了解该参数。

• dropout_rate：类似于 LSTM 层中的 recurrent_dropout。我通常不太使用，或将其设置为较低的值，如 0.05。

• activation：保持默认即可。我从未更改过。

• kernel_initializer：如果 TCN 的训练陷入停滞，不妨尝试更改此参数。例如：“glorot_uniform”。

• use_batch_norm、use_layer_norm：如果网络足够大且任务数据量充足，可以使用归一化。我通常更倾向于使用 use_layer_norm，但你可以尝试看看哪种效果更好。

受体野

受体野的定义是：从当前时刻 T 的样本向前追溯的最大步数，即（块、层、堆栈、TCN）中的滤波器能够作用到的有效历史长度 + 1。TCN 的受体野可以通过以下公式计算：

其中，N_stack 表示堆栈的数量，N_b 表示每个堆栈中的残差块数量，d 是一个向量，包含每个堆栈中每个残差块的扩张率，K 则是卷积核的大小。之所以乘以 2，是因为单个 ResidualBlock 中包含两个 Conv1d 层。

理想情况下，你的受体野应该大于输入序列的最大长度；如果你将一个超过受体野长度的序列输入模型，那么序列中更靠前的多余值将会被零填充替代。

示例

注：与 TCN 不同，示例图中每层仅包含一个 Conv1d，因此公式变为 R_field = 1 + (K-1)⋅N_stack⋅Σi di（不带系数 2）。

• 如果一个扩张卷积网络仅有一个由残差块组成的堆栈，卷积核大小为 2，扩张率为 [1, 2, 4, 8]，则其受体野为 16。下图展示了这一情况：

ks = 2, dilations = [1, 2, 4, 8], 1 block

• 如果一个扩张卷积网络有 2 个由残差块组成的堆栈，则会出现如下情况，即受体野增至 31：

ks = 2, dilations = [1, 2, 4, 8], 2 blocks

• 如果我们将堆栈数量增加到 3 个，则受体野的大小会再次增大，如下所示：

ks = 2, dilations = [1, 2, 4, 8], 3 blocks

非因果 TCN

将 TCN 架构设计为非因果，使其能够考虑未来信息来进行预测，如图所示。

然而，这种设计不再适用于实时应用。

非因果 TCN - ks = 3, dilations = [1, 2, 4, 8], 1 block

要使用非因果 TCN，需在初始化 TCN 层时指定 padding='valid' 或 padding='same'。

运行

一旦 keras-tcn 作为包安装完毕，你就可以初步了解 TCN 能够完成的任务。为此，仓库中提供了一些任务示例：

cd adding_problem/
python main.py # 运行加法问题任务

cd copy_memory/
python main.py # 运行复制记忆任务

cd mnist_pixel/
python main.py # 运行顺序 MNIST 像素任务

通过使用 tensorflow-determinism 库，在（NVIDIA）GPU 上可以实现可复现的结果。该库已由 @lingdoc 在 keras-tcn 上进行了测试。

任务

Word PTB

语言建模仍然是循环网络的主要应用之一。在本例中，我们展示了 TCN 在 WordPTB 任务上无需过多调优即可超越 LSTM。

TCN 与 LSTM（权重数量相当）

加法任务

该任务要求将一个大型十进制数数组与一个相同长度的布尔数组一同输入网络。目标是在布尔数组中出现两个 1 的位置对这两个十进制数进行求和。

解释

加法问题任务

实施结果

782/782 [==============================] - 154s 197ms/step - loss: 0.8437 - val_loss: 0.1883
782/782 [==============================] - 154s 196ms/step - loss: 0.0702 - val_loss: 0.0111
[...]
782/782 [==============================] - 152s 194ms/step - loss: 6.9630e-04 - val_loss: 3.7180e-04

复制记忆任务

复制记忆任务涉及一个非常大的数组：

• 开头是一个长度为 N 的向量 x，这是需要复制的向量。
• 末尾有 N+1 个 9，其中第一个 9 被视为分隔符。
• 中间只有 0。

任务的目标是将向量 x 的内容复制到大数组的末尾。通过增加中间的 0 的数量，任务的复杂度得以提升。

解释

复制记忆任务

实施结果（前几轮）

118/118 [==============================] - 17s 143ms/step - loss: 1.1732 - accuracy: 0.6725 - val_loss: 0.1119 - val_accuracy: 0.9796
[...]
118/118 [==============================] - 15s 125ms/step - loss: 0.0268 - accuracy: 0.9885 - val_loss: 0.0206 - val_accuracy: 0.9908
118/118 [==============================] - 15s 125ms/step - loss: 0.0228 - accuracy: 0.9900 - val_loss: 0.0169 - val_accuracy: 0.9933

顺序 MNIST

解释

这里的思路是将 MNIST 图像视为一维序列并输入网络。由于序列长度为 28×28=784 个元素，这项任务尤其困难。为了正确分类，网络必须记住整个序列。普通的 LSTM 在这项任务上表现不佳。

顺序 MNIST

实施结果

1875/1875 [==============================] - 46s 25ms/step - loss: 0.0949 - accuracy: 0.9706 - val_loss: 0.0763 - val_accuracy: 0.9756
1875/1875 [==============================] - 46s 25ms/step - loss: 0.0831 - accuracy: 0.9743 - val_loss: 0.0656 - val_accuracy: 0.9807
[...]
1875/1875 [==============================] - 46s 25ms/step - loss: 0.0486 - accuracy: 0.9840 - val_loss: 0.0572 - val_accuracy: 0.9832
1875/1875 [==============================] - 46s 25ms/step - loss: 0.0453 - accuracy: 0.9858 - val_loss: 0.0424 - val_accuracy: 0.9862

R 语言

关于使用 R 语言 完整运行 Keras TCN 的示例，请浏览此处。

参考文献

• https://github.com/locuslab/TCN/（Pytorch 版 TCN）
• https://arxiv.org/pdf/1803.01271（通用卷积与循环网络在序列建模中的实证评估）
• https://arxiv.org/pdf/1609.03499（原始 Wavenet 论文）
• https://github.com/Baichenjia/Tensorflow-TCN（TensorFlow Eager 版 TCN 实现）

引用

@misc{KerasTCN,
  author = {Philippe Remy},
  title = {用于 Keras 的时间卷积网络},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/philipperemy/keras-tcn}},
}

贡献者

keras-tcn 快速上手指南

环境准备

• 系统：Windows / macOS / Linux
• Python：≥3.7
• TensorFlow：2.9–2.19（已验证）
• 硬件：CPU 即可；GPU 需 NVIDIA 显卡 + CUDA 11.2+（macOS 可用 tensorflow-metal）

安装步骤

# 1. 创建并激活虚拟环境（可选）
python -m venv venv
source venv/bin/activate  # Windows: venv\Scripts\activate

# 2. 安装 keras-tcn
pip install keras-tcn -i https://pypi.tuna.tsinghua.edu.cn/simple

# 3. （可选）GPU 加速
# NVIDIA
pip install tensorflow-determinism  # 保证结果可复现
# macOS
pip install tensorflow-metal

基本使用

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
from tcn import TCN
import numpy as np

# 1. 构造示例数据：100 条序列，每条 50 步，每步 10 维特征
x = np.random.rand(100, 50, 10).astype(np.float32)
y = np.random.randint(0, 2, size=(100, 1))

# 2. 构建模型
model = Sequential([
    TCN(nb_filters=64,
        kernel_size=3,
        dilations=[1, 2, 4, 8],
        padding='causal',
        return_sequences=False),
    Dense(1, activation='sigmoid')
])

# 3. 编译并训练
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])
model.fit(x, y, epochs=5, batch_size=16)

运行后即可看到训练日志。