面向不规则时间序列的神经控制微分方程
(NeurIPS 2020 Spotlight)
[arXiv, YouTube]

基于对_控制微分方程_这一成熟数学理论的理解，我们展示了如何构建能够：

• 直接作用于不规则采样、部分可观测的多变量时间序列的模型。
• 即使跨观测点，也能通过内存高效的伴随反向传播进行训练。
• 展现出当前最先进的性能。

这些模型使用现有工具（尤其是 PyTorch 和 torchcde 库）即可轻松实现和评估。

---

库

请参阅 torchcde。

示例

我们建议查看 example.py，其中演示了如何使用该库训练一个神经控制微分方程模型来预测螺旋的旋向性。

此外，请参阅 irregular_data.py，其中展示了如何处理变长输入、不规则采样或缺失数据，所有这些都可以轻松处理，而无需修改模型。

一个自包含的简短示例：

import torch
import torchcde

# 创建一些数据
batch, length, input_channels = 1, 10, 2
hidden_channels = 3
t = torch.linspace(0, 1, length)
t_ = t.unsqueeze(0).unsqueeze(-1).expand(batch, length, 1)
x_ = torch.rand(batch, length, input_channels - 1)
x = torch.cat([t_, x_], dim=2)  # 将时间作为一通道

# 插值
coeffs = torchcde.natural_cubic_spline_coeffs(x)
X = torchcde.NaturalCubicSpline(coeffs)

# 创建神经控制微分方程系统
class F(torch.nn.Module):
    def __init__(self):
        super(F, self).__init__()
        self.linear = torch.nn.Linear(hidden_channels, 
                                      hidden_channels * input_channels)
    def forward(self, t, z):
        return self.linear(z).view(batch, hidden_channels, input_channels)

func = F()
z0 = torch.rand(batch, hidden_channels)

# 积分
torchcde.cdeint(X=X, func=func, z0=z0, t=X.interval)

实验复现

用于复现论文中实验的所有内容都可在 experiments 文件夹 中找到。请查阅该文件夹以获取详细信息。

结果

以下是一个示例（摘自论文——请参阅原文以获取其他数据集上的类似结果）：

引用

@article{kidger2020neuralcde,
    title={{N}eural {C}ontrolled {D}ifferential {E}quations for {I}rregular {T}ime {S}eries},
    author={Kidger, Patrick and Morrill, James and Foster, James and Lyons, Terry},
    journal={Advances in Neural Information Processing Systems},
    year={2020}
}

NeuralCDE 快速上手指南

NeuralCDE（神经控制微分方程）是一种专为不规则采样时间序列设计的深度学习模型。它基于受控微分方程理论，能够直接处理缺失数据、变长输入和非均匀时间点，并支持高效的伴随反向传播训练。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 3.7 或更高
• 核心依赖:
  • PyTorch (建议 1.6+)
  • torchcde 库 (NeuralCDE 的核心实现库)

提示：国内用户建议使用清华源或阿里源加速 PyTorch 及相关依赖的安装。

安装步骤

推荐使用 pip 进行安装。您可以直接安装封装好的 torchcde 库，该库包含了构建 NeuralCDE 模型所需的所有功能。

# 使用国内镜像源加速安装
pip install torchcde -i https://pypi.tuna.tsinghua.edu.cn/simple

如果您的环境中尚未安装 PyTorch，请先根据官方指引安装对应版本的 PyTorch，然后再执行上述命令。

基本使用

以下是一个最小化的完整示例，演示了如何创建不规则时间序列数据、进行自然三次样条插值，并构建及积分一个 Neural CDE 系统。

import torch
import torchcde

# 1. 创建模拟数据
batch, length, input_channels = 1, 10, 2
hidden_channels = 3

# 生成时间戳 t 和特征数据 x_
t = torch.linspace(0, 1, length)
t_ = t.unsqueeze(0).unsqueeze(-1).expand(batch, length, 1)
x_ = torch.rand(batch, length, input_channels - 1)

# 将时间作为一个通道拼接到输入数据中 (Neural CDE 的标准做法)
x = torch.cat([t_, x_], dim=2)

# 2. 数据插值
# 计算自然三次样条系数
coeffs = torchcde.natural_cubic_spline_coeffs(x)
# 构建插值对象 X
X = torchcde.NaturalCubicSpline(coeffs)

# 3. 定义 Neural CDE 向量场函数 F
class F(torch.nn.Module):
    def __init__(self):
        super(F, self).__init__()
        # 映射隐藏状态到 (隐藏状态维度 * 输入通道维度)
        self.linear = torch.nn.Linear(hidden_channels, 
                                      hidden_channels * input_channels)
    
    def forward(self, t, z):
        return self.linear(z).view(batch, hidden_channels, input_channels)

func = F()

# 初始化隐藏状态 z0
z0 = torch.rand(batch, hidden_channels)

# 4. 执行积分求解
# 在时间区间 X.interval 上对系统进行积分
result = torchcde.cdeint(X=X, func=func, z0=z0, t=X.interval)

print(result.shape)  # 输出形状: [batch, time_points, hidden_channels]

关键点说明

• 时间作为通道：代码中将时间 t 拼接到输入特征 x 中，这是处理不规则采样的关键步骤。
• 插值处理：torchcde.NaturalCubicSpline 自动处理不规则时间点，将其转化为连续路径，无需手动对齐数据。
• 无缝集成：模型定义 (class F) 和使用 (cdeint) 与标准 PyTorch 流程完全兼容，可直接嵌入现有的训练循环中。