闭式连续时间模型

闭式连续时间神经网络（CfCs）是功能强大的序列型液体神经信息处理单元。

论文开放获取：https://www.nature.com/articles/s42256-022-00556-7

Arxiv：https://arxiv.org/abs/2106.13898

关于液体神经网络（包括液体CfCs）的教程：https://ncps.readthedocs.io/en/latest/quickstart.html

需求

• Python 3.6 或更高版本
• TensorFlow 2.4 或更高版本
• PyTorch 1.8 或更高版本
• PyTorch Lightning 1.3.0 或更高版本
• scikit-learn 0.24.2 或更高版本

模块说明

• tf_cfc.py 在 TensorFlow 2.x 中实现的 CfC（多种版本）
• torch_cfc.py 在 PyTorch 中实现的 CfC（多种版本）
• train_physio.py 使用 PyTorch 在 Physionet 2012 数据集上训练 CfC 模型（代码改编自 Rubanova 等人，2019 年）
• train_xor.py 使用 TensorFlow 在 XOR 数据集上训练 CfC 模型（代码改编自 Lechner & Hasani，2020 年）
• train_imdb.py 使用 TensorFlow 在 IMDB 数据集上训练 CfC 模型（代码改编自 Keras 示例网站）
• train_walker.py 使用 TensorFlow 在 Walker2d 数据集上训练 CfC 模型（代码改编自 Lechner & Hasani，2020 年）
• irregular_sampled_datasets.py 来自 Lechner & Hasani（2020 年）的数据集（相同划分）
• duv_physionet.py 和 duv_utils.py 来自 Rubanova 等人（2019 年）的 Physionet 数据集（相同划分）

使用方法

所有训练脚本均支持以下三个可选标志：

• no_gate 运行不包含 (1-sigmoid) 部分的 CfC
• minimal 运行 CfC 的直接解法
• use_ltc 使用半隐式常微分方程求解器的 LTC 替代 CfC
• use_mixed 将 CfC 的 RNN 状态与 LSTM 混合，以避免梯度消失问题

若未指定上述任何标志，则使用完整的 CfC 模型。

例如：

python3 train_physio.py

将在 Physionet 数据集上训练完整的 CfC 模型。

类似地：

train_walker.py --minimal

将在 walker2d 数据集上运行 CfC 的直接解法。

如需下载 Lechner & Hasani 2020 年的 Walker2d 数据集，请运行：

source download_dataset.sh

引用

@article{hasani_closed-form_2022,
	title = {Closed-form continuous-time neural networks},
	journal = {Nature Machine Intelligence},
	author = {Hasani, Ramin and Lechner, Mathias and Amini, Alexander and Liebenwein, Lucas and Ray, Aaron and Tschaikowski, Max and Teschl, Gerald and Rus, Daniela},
	issn = {2522-5839},
	month = nov,
	year = {2022},
}

CfC (Closed-form Continuous-time Models) 快速上手指南

CfC（闭式连续时间神经网络）是一种强大的序列液态神经信息处理单元，专为处理连续时间序列数据设计。本指南将帮助中国开发者快速搭建环境并运行基础示例。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.6 或更高版本
• 核心依赖：
  • TensorFlow 2.4+ (用于 TF 版本实现)
  • PyTorch 1.8+ (用于 PyTorch 版本实现)
  • pytorch-lightning 1.3.0+
  • scikit-learn 0.24.2+

国内加速建议：安装 Python 包时，推荐使用清华或阿里镜像源以提升下载速度。 例如：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆代码库 首先获取源代码（假设您已下载或克隆了该仓库）：

   git clone https://github.com/mlech26l/cfc.git
   cd cfc
   

2. 安装依赖 使用 pip 安装所需库。推荐直接使用国内镜像源：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow>=2.4 torch>=1.8 pytorch-lightning>=1.3.0 scikit-learn>=0.24.2
   

   注：如果您只需要 PyTorch 或 TensorFlow 其中一种框架，可仅安装对应的依赖。

3. 下载数据集（可选） 如果要运行 Walker2d 相关示例，需先下载数据集：

   source download_dataset.sh
   

   其他数据集（如 Physionet, IMDB）通常在脚本首次运行时会自动处理或需按具体论文指引准备。

基本使用

CfC 提供了多个训练脚本以演示不同场景下的用法。默认情况下，脚本会运行完整的 CfC 模型。

示例 1：在 Physionet 数据集上训练 (PyTorch)

这是最基础的用法，直接运行脚本即可启动完整 CfC 模型的训练：

python3 train_physio.py

示例 2：在 Walker2d 数据集上训练 (TensorFlow)

运行简化版（直接解）的 CfC 模型：

python3 train_walker.py --minimal

常用参数说明

所有训练脚本均支持以下标志位来调整模型行为：

• --no_gate：运行不带 (1-sigmoid) 部分的 CfC。
• --minimal：运行 CfC 的直接解析解（Direct Solution）。
• --use_ltc：使用半隐式 ODE 求解器运行 LTC 模型，而非 CfC。
• --use_mixed：将 CfC 的 RNN 状态与 LSTM 混合，以避免梯度消失。

如果不提供上述任何标志，系统将默认使用完整的 CfC 模型。