液态时间常数网络（LTCs）

[更新] 我们的姊妹仓库现已添加了 PyTorch 版本及教程： https://github.com/mlech26l/ncps

这是论文中所描述的 LTC 网络的官方仓库：https://arxiv.org/abs/2006.04439
该仓库允许您使用随时间反向传播（BPTT）训练连续时间模型。可用的连续时间模型如下：

模型	参考文献
液态时间常数网络	https://arxiv.org/abs/2006.04439
神经 ODE	https://papers.nips.cc/paper/7892-neural-ordinary-differential-equations.pdf
连续时间 RNN	https://www.sciencedirect.com/science/article/abs/pii/S089360800580125X
连续时间门控循环单元（GRU）	https://arxiv.org/abs/1710.04110

必备条件

所有模型均在 Ubuntu 16.04 和 18.04 系统上，使用 TensorFlow 1.14.0 和 Python 3 实现并测试。 以下步骤均假设在这些条件下执行。

准备工作

首先，我们需要通过运行以下命令下载所有数据集：

source download_datasets.sh

此脚本将创建一个名为 data 的文件夹，用于存储所有已下载的数据集。

训练与评估模型

每个数据集对应一个 Python 模块：

• 手势分割：gesture.py
• 房间 occupancy 检测：occupancy.py
• 人体活动识别：har.py
• 交通流量预测：traffic.py
• 臭氧浓度预测：ozone.py

每个脚本接受以下四个参数：

• --model: lstm | ctrnn | ltc | ltc_rk | ltc_ex
• --epochs: 训练轮数（默认 200）
• --size: 隐藏 RNN 单元数（默认 32）
• --log: 评估验证指标的频率间隔（默认 1）

每个脚本会按照指定的轮数训练相应模型，并在每 log 轮后评估验证性能。训练结束后，系统会恢复表现最佳的检查点，并在测试集上对模型进行评估。所有结果将追加到 results 文件夹中的 CSV 文件中。

例如，我们可以通过执行以下命令来训练和评估 CT-RNN：

python3 har.py --model ctrnn

脚本执行完毕后，应生成一个名为 results/har/ctrnn_32.csv 的文件，其中包含以下列：

• best epoch: 达到最佳验证指标的轮次
• train loss: 在最佳轮次达到的训练损失
• train accuracy: 在最佳轮次达到的训练指标
• valid loss: 在最佳轮次达到的验证损失
• valid accuracy: 训练过程中达到的最佳验证指标
• test loss: 测试集上的损失
• test accuracy: 测试集上的指标

超参数

参数	值	描述
小批量大小	16	用于计算梯度下降更新的训练样本数量
学习率	0.001/0.02	LTC 使用 0.01–0.02，其他模型使用 0.001。
隐藏单元数	32	各模型的隐藏单元数量
优化器	Adam	参见 (Kingma 和 Ba, 2014)
beta_1	0.9	Adam 方法的参数
beta_2	0.999	Adam 方法的参数
epsilon	1e-08	Adam 方法的 epsilon-hat 参数
训练轮数	200	最大训练轮数
BPTT 长度	32	随时间反向传播的长度（以时间步为单位）
ODE 求解器步长	1/6	相对于输入采样周期
验证评估间隔	1	评估验证指标的训练轮数间隔

轨迹长度分析

运行 main.m 文件，即可获得所需设置下的轨迹长度结果，相关参数可在代码中调整。

Liquid Time-Constant Networks (LTCs) 快速上手指南

环境准备

本工具基于 TensorFlow 1.14.0 开发，建议在以下环境中运行以确保兼容性：

• 操作系统: Ubuntu 16.04 或 18.04
• Python 版本: Python 3
• 核心依赖: TensorFlow 1.14.0

注意：官方仓库主要使用 TensorFlow 实现。如果您更倾向于使用 PyTorch，可以参考其姐妹仓库 ncps，其中包含了 PyTorch 版本及教程。

安装步骤

1. 克隆仓库 首先克隆官方代码库到本地：

   git clone https://github.com/mlech26l/liquid_time_constant_networks.git
   cd liquid_time_constant_networks
   

2. 安装依赖 确保已安装 TensorFlow 1.14.0。如果尚未安装，可使用 pip 进行安装（国内用户建议使用清华源加速）：

   pip install tensorflow==1.14.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 下载数据集 运行提供的脚本自动下载所有必需的数据集。执行后会在当前目录生成 data 文件夹：

   source download_datasets.sh
   

基本使用

本仓库为每个数据集提供了独立的 Python 训练脚本。以下是以“人类活动识别”（Human Activity Recognition, HAR）数据集为例，训练一个连续时间循环神经网络（CT-RNN）的最简流程。

1. 开始训练与评估

运行以下命令启动训练。脚本将自动训练指定模型，并在每个验证间隔评估性能。训练结束后，会自动加载最佳检查点并在测试集上进行最终评估。

python3 har.py --model ctrnn

常用参数说明：

• --model: 选择模型架构，可选值包括 lstm, ctrnn, ltc, ltc_rk, ltc_ex。
• --epochs: 训练轮数（默认 200）。
• --size: 隐藏层单元数量（默认 32）。
• --log: 验证评估间隔（默认每 1 个 epoch 评估一次）。

示例：训练 LTC 模型，设置 100 轮，隐藏单元 64 个：

python3 har.py --model ltc --epochs 100 --size 64

2. 查看结果

训练完成后，结果将保存在 results 文件夹中。以上述 HAR 任务为例，生成的文件路径为 results/har/ctrnn_32.csv（文件名随模型和大小变化）。

CSV 文件包含以下关键指标：

• best epoch: 取得最佳验证指标的轮数
• train loss / train accuracy: 最佳轮数的训练损失与准确率
• valid loss / valid accuracy: 训练过程中的最佳验证损失与准确率
• test loss / test accuracy: 测试集上的最终损失与准确率

3. 其他可用任务脚本

除了 har.py，仓库还包含以下任务的脚本，使用方法同上：

• 手势分割: gesture.py
• 房间占用检测: occupancy.py
• 交通流量预测: traffic.py
• 臭氧水平预测: ozone.py