这是一份关于微分方程、动力系统、深度学习、控制理论、数值方法以及科学机器学习之间相互作用的资源合集。

注意： 欢迎通过 Issues 或 Pull Requests 提出补充建议。

该仓库还为每项工作分配了主题标签，以进行（粗略的）分类。这些标签并不全面或精确，仅用于大致了解内容。

目录

• 深度学习中的微分方程

  • 通用架构

  • 神经算子

  • 神经ODE

    • 神经ODE的训练

    • 加速连续模型

    • 基于神经ODE的控制

  • 神经GDE

  • 神经SDE

  • 神经CDE

  • 生成模型

    • 归一化流

    • 分数匹配SDE

  • 应用

• 用于微分方程的深度学习方法（科学机器学习）

  • 求解微分方程

  • 模型发现

• 深度学习的动力系统视角

  • 循环神经网络

  • 理论与观点

  • 优化

• 软件与库

• 网站与博客

深度学习中的微分方程

通用架构

• 面向具有缺失值的多变量时间序列的循环神经网络：Scientific Reports18

在实际应用中，多变量时间序列数据（如医疗保健、地球科学和生物学领域）往往存在各种缺失值。我们提出了一种基于GRU的模型GRU-D，其中为输入变量和隐藏状态设计了一个衰减机制，以捕捉上述特性。我们在模型中引入衰减率，通过考虑以下重要因素来控制这一衰减机制。

• 使用高斯过程学习未知的ODE模型：arXiv18，代码

然而，对于许多复杂系统而言，确定支配其内在动力学的方程或相互作用在实践中几乎是不可能的。在这种情况下，无法构建参数化的ODE模型。为此，我们提出了一种新颖的非参数化ODE建模范式，能够在无需先验知识的情况下学习任意连续时间系统的底层动力学。我们建议使用高斯过程向量场，在精确的ODE形式框架内，从状态观测中学习非线性、未知的微分函数。

• 深度均衡模型：NeurIPS19

我们提出了一种新的序列数据建模方法：深度均衡模型（DEQ）。受许多现有深度序列模型的隐藏层会收敛到某个固定点这一现象的启发，我们提出了DEQ方法，直接通过求根算法找到这些平衡点。

• 快速且深层的图神经网络：AAAI20

我们针对深层图神经网络（GNN）构建效率低下的问题提出了解决方案。该方法利用将每个输入图表示为动力系统固定点（通过循环神经网络实现）的思想，并采用深层的循环单元架构。通过多种方式提升了效率，包括使用小型且非常稀疏的网络，同时在本文提出的稳定性条件下，循环单元的权重无需训练。

• 哈密顿神经网络：NeurIPS19

在本文中，我们从哈密顿力学中获得灵感，训练能够以无监督方式学习并遵守精确守恒定律的模型。

• 深度拉格朗日网络：利用物理学作为深度学习的先验模型：ICLR19

我们提出深度拉格朗日网络（DeLaN），这是一种在其基础上施加了拉格朗日力学约束的深度网络结构。DeLaN能够高效地通过深度网络学习机械系统的运动方程（即系统动力学），同时确保物理上的合理性。由此产生的DeLaN网络在机器人跟踪控制方面表现出色。

• 拉格朗日神经网络：ICLR20 DeepDiffEq

我们提出了拉格朗日神经网络（LNN），它能够使用神经网络对任意拉格朗日量进行参数化。与学习哈密顿量的模型不同，LNN不需要规范坐标，因此在规范动量未知或难以计算的情况下表现尤为出色。

• 通过显式约束简化哈密顿和拉格朗日神经网络：NeurIPS20，代码

对物理世界的推理需要具备正确归纳偏置的模型，以便学习其内在动力学。近期的研究表明，通过学习系统的哈密顿量或拉格朗日量而非直接学习微分方程，可以提高预测轨迹的泛化能力。尽管这些方法使用广义坐标来编码系统的约束条件，但我们证明，将系统嵌入笛卡尔坐标系，并借助拉格朗日乘子显式施加约束，能够显著简化学习问题。

神经算子

• 神经算子：学习函数空间之间的映射：arXiv21

我们提出了一种神经网络的泛化方法，用于学习在无限维函数空间之间进行映射的算子。我们将算子的近似表示为一类线性积分算子与非线性激活函数的复合形式，从而使复合算子能够逼近复杂的非线性算子。我们证明了该构造的通用逼近定理。此外，我们介绍了四类算子参数化方式：基于图的算子、低秩算子、多极点基于图的算子以及傅里叶算子，并描述了每种方式的高效计算算法。

• 用于参数化偏微分方程的傅里叶神经算子：ICLR 2021

我们通过在傅里叶空间中直接对积分核进行参数化，提出了一种新的神经算子架构，该架构具有强大的表达能力和高效的计算性能。

• FourCastNet：基于自适应傅里叶神经算子的全球数据驱动高分辨率天气模型

FourCastNet，即傅里叶预报神经网络，是一个全球数据驱动的天气预报模型，能够在0.25°分辨率下提供准确的短期至中期全球预报。FourCastNet能够精确预测诸如地表风速、降水和大气水汽等高分辨率、快速变化的气象变量。

• 变换一次：频域中的高效算子学习

本工作通过一次变换提出了频域学习的蓝图：变换一次（T1）。为了实现频域中的高效直接学习，我们开发了一种保持方差的权重初始化方案，并解决了如何选择合适变换这一开放问题。我们的研究显著简化了频域模型的设计流程，去除了冗余的变换操作，使计算速度提升了3到10倍，且随着数据分辨率和模型规模的增加，加速效果更加明显。我们在求解偏微分方程方面进行了大量实验，包括不可压缩的纳维-斯托克斯方程、机翼周围的湍流以及高分辨率烟雾动力学视频等。T1模型在测试性能上优于当前最先进的频域模型，同时所需的计算量大幅减少，在各项任务中的预测误差降低了20%以上。

神经ODEs

• 神经常微分方程（最佳论文奖）：NeurIPS18

我们引入了一种新型的深度神经网络模型。不同于传统模型中离散的隐藏层序列，我们使用神经网络来参数化隐藏状态的导数。此外，我们还构建了连续归一化流，这是一种可以通过最大似然估计进行训练的生成模型，无需对数据维度进行划分或排序。

• 解析神经ODEs（口头报告）：NeurIPS20

近年来，连续深度学习架构以“神经常微分方程”（Neural ODEs）的形式重新兴起。这种无限深度的方法在理论上弥合了深度学习与动力系统之间的鸿沟，提供了一种全新的视角。然而，如何理解这些模型的内部工作机制仍然是一个未解难题，因为大多数应用都将其当作通用的黑盒模块来使用。在本工作中，我们“打开盒子”，进一步发展了连续深度的理论框架，旨在阐明若干设计选择对底层动力学的影响。

• 可微多重射击层：NeurIPS21

我们详细介绍了新型的隐式神经网络模型。利用微分方程的时间并行方法，多重射击层（MSLs）通过可并行化的根查找算法来求解初值问题。MSLs可以广泛用作神经常微分方程（Neural ODEs）的替代品，其在函数评估次数（NFEs）和推理耗时方面均有所改进。

• 增广神经ODEs：NeurIPS19

我们证明了神经常微分方程（ODEs）能够学习保留输入空间拓扑结构的表示，并进一步指出这表明存在一些函数是神经ODEs无法表示的。为了解决这些局限性，我们提出了增广神经ODEs，它不仅更具表达能力，而且在实践中表现得更为稳定、泛化能力更强，计算成本也低于传统的神经ODEs。

• 用于不规则采样时间序列的潜在ODEs：NeurIPS19

• ODE2VAE：基于贝叶斯神经网络的二阶深度生成ODEs：NeurIPS19

• 辛几何ODE-Net：带控制的哈密顿动力学学习：arXiv19

• 稳定的神经流：arXiv20

• 关于增广神经ODEs中的二阶行为 NeurIPS20

• 神经混合自动机：学习具有多模式和随机转换的动力系统：NeurIPS21

对动力系统的有效控制和预测通常需要妥善处理连续时间和离散事件触发的过程。随机混合系统（SHSs）广泛应用于工程领域，为那些可能经历离散随机状态跳变以及多模态连续动态的系统提供了形式化的建模框架。尽管SHSs在各种应用中具有广泛的适用性和重要性，但如何显式地学习离散事件和多模态连续动态的通用方法仍然是一个悬而未决的问题。本研究提出了神经混合自动机（NHAs），这是一种无需事先了解模式数量和模态间转换动态即可学习SHS动力学的方法。NHAs基于归一化流、神经微分方程和自监督学习，提供了一种系统的推断方法。

神经ODEs的训练

• 利用谱元法加速神经ODE：arXiv19

• 用于神经ODE梯度估计的自适应检查点伴随方法：ICML20

• MALI：一种内存高效且反向精确的神经ODE积分器：ICLR21

现有的伴随方法在反向时间轨迹上存在不准确性，而朴素方法和自适应检查点伴随方法（ACA）则会随着积分时间的增长导致内存开销增加。在本项目中，我们基于异步跳跃法（ALF）求解器，提出了一种内存高效的ALF积分器（MALI），它与伴随方法类似，在积分过程中内存开销与求解步骤数无关，并且能够保证反向时间轨迹的准确性（从而确保梯度估计的准确性）。

加速连续模型

• 如何训练你的神经ODE：ICML20

• 学习易于求解的微分方程：NeurIPS20

• 超级求解器：迈向快速的连续深度模型：NeurIPS20

• “嘿，那可不是ODE”：用12行代码实现更快的ODE伴随方法：arXiV20

神经微分方程可以通过伴随方法进行梯度反向传播来训练。在这里，我们证明了伴随方程的特殊结构使得通常使用的范数（如L2范数）变得不必要地严格。通过将其替换为更合适的（半）范数，可以减少不必要的步骤被拒绝，从而使反向传播过程更加迅速。

• 用于加速神经ODE中梯度传播的插值技术：NeurIPS20

我们提出了一种基于插值的简单方法，用于高效地近似神经ODE模型中的梯度。我们将该方法与反向动力学方法（文献中称为“伴随方法”）进行了比较，以在分类、密度估计和推理近似任务上训练神经ODE。

• 打开黑箱：通过正则化内部求解器启发式来加速神经微分方程：ICML21

我们能否在不增加训练成本的情况下，迫使NDE学习使用最少步骤的版本？目前克服预测缓慢的策略需要高阶自动微分，这会导致显著增加的训练时间。我们描述了一种新颖的正则化方法，该方法结合了自适应微分方程求解器的内部成本启发式与离散伴随敏感性。

基于神经ODE的控制

• 基于模型的强化学习应用于具有神经ODE的半马尔可夫决策过程：NeurIPS20

在本文中，我们采用基于模型的方法进行连续时间强化学习，通过神经常微分方程（ODEs）对动态进行建模。这种方法不仅比无模型方法更节省样本，还允许我们有效地将基于一种交互方案学到的策略调整到另一种交互方案上。

• 基于神经逼近器的最优能量整形：arXiv20

我们引入了最优能量整形作为对经典无源控制方法的增强。长期以来，无源控制理论的一个重要特性——除了稳定性之外——被认为是可以在执行特定任务时直观地调整性能。然而，迄今为止，尚未开发出一种系统化的框架来在无源控制范围内调整性能，因为每种方法都依赖于少量且针对特定问题的实践经验。在此，我们将经典的能量整形控制设计过程置于最优控制框架下；一旦定义了与任务相关的性能指标，便可通过迭代程序，借助神经网络和基于梯度的优化方法，系统地获得最优解。

神经GDEs

• 图神经常微分方程（亮点论文）：AAAI DLGMA20

我们提出了连续深度图神经网络（GNNs）的框架。神经图常微分方程（Neural GDEs）被形式化为GNNs的对应物，其中输入-输出关系由一系列GNN层决定，融合了离散拓扑结构和微分方程。我们进一步引入了通用混合神经GDE模型，作为一种混合动力系统。

• 用于动态图预测的连续深度神经模型：arXiv21，“图神经常微分方程”的扩展版

针对动态图的时空场景，开发了额外的神经GDE变体。神经GDE的评估协议涵盖了多个应用领域，包括交通预测和生物网络中的预测。

• GRAND：图神经扩散：arXiv21

我们提出了图神经扩散（GRAND），它将图上的深度学习视为一个连续的扩散过程，并将图神经网络（GNNs）视为潜在偏微分方程的离散化表示。

神经随机微分方程

• 神经随机微分方程：通过随机噪声稳定神经ODE网络：arXiv19

• 神经跳跃随机微分方程：arXiv19

• 面向正反向随机微分方程的鲁棒且稳定的深度学习算法：arXiv19

• 随机微分方程的可扩展梯度与变分推断：AISTATS20

• 基于分数的生成模型通过随机微分方程（口头报告）：ICLR20

我们提出了一种随机微分方程，它通过缓慢注入噪声将复杂的数据分布平滑地转换为已知的先验分布；同时，还提出了一种对应的逆时间随机微分方程，通过缓慢去除噪声将先验分布重新转换回数据分布。

• 神经随机微分方程的高效精确梯度：NeurIPS21

我们引入了可逆Heun方法。这是一种新的SDE求解器，具有代数意义上的可逆性，能够消除数值梯度误差，是我们所知的第一个此类求解器。此外，它所需的函数评估次数仅为同类求解器的一半，从而实现最高1.98倍的速度提升。其次，我们提出了布朗区间：一种新型、快速、内存高效且精确的采样及重建布朗运动的方法。

神经控制微分方程

• 用于不规则时间序列的神经控制微分方程（亮点论文）：NeurIPS20

我们展示了控制微分方程如何扩展神经ODE模型，即所谓的神经控制微分方程（Neural CDE）模型。正如神经ODE是ResNet的连续版本一样，神经CDE则是RNN的连续版本。

• 基于对数ODE方法的长时序神经控制微分方程：arXiv20

• 用于在线预测任务的神经控制微分方程：arXiv21

我们确定了神经CDE插值方案应满足的若干理论条件，例如有界性和唯一性。其次，我们基于这些条件提出了新的插值方案，以解决上述问题，特别是提供了可测量性（适用于在线预测）和光滑性（有助于提高速度）。

生成模型

归一化流

• 蒙日-安培流用于生成建模：arXiv18

• FFJORD：用于可扩展可逆生成模型的自由形式连续动力学：ICLR19

• 等变流：用于具有对称能量的多体系统配置采样：arXiv18

• 同时进行流形学习与密度估计的流：NeurIPS20

我们提出了流形学习流（M流），这是一类新型生成模型，能够同时学习数据流形以及该流形上的可处理概率密度。我们论证了为何此类模型不应仅依靠最大似然进行训练，并提出了一种新的训练算法，将流形更新与密度更新分开进行。

• TrajectoryNet：用于建模细胞动态的动态最优传输网络 arXiv20

• 凸势流：结合最优传输与凸优化的通用概率分布：arXiv20

CP流是由强凸神经势函数的梯度映射构成。由于其凸性，CP流具有可逆性，因此我们可以借助凸优化来求解凸共轭，从而实现高效的逆变换。

扩散模型

• 基于分数的生成模型通过随机微分方程（最佳论文奖）：ICLR21

从数据中制造噪声很容易；而从噪声中生成数据才是生成建模的核心。我们提出了一种随机微分方程，它通过缓慢注入噪声将复杂的数据分布平滑地转换为已知的先验分布；同时，还提出了一种对应的逆时间随机微分方程，通过缓慢去除噪声将先验分布重新转换回数据分布。

• 去噪扩散隐式模型

去噪扩散概率模型（DDPMs）在无需对抗训练的情况下实现了高质量的图像生成，然而它们需要模拟多步马尔可夫链才能生成一个样本。为了加速采样，我们提出了去噪扩散隐式模型（DDIMs），这是一类更高效的迭代隐式概率模型，其训练过程与DDPMs相同。在DDPMs中，生成过程被定义为马尔可夫扩散过程的逆过程。

应用

• 注意力动态的学习：人类先验知识在可解释机器推理中的作用：NeurIPS19

用于微分方程的深度学习方法

求解微分方程

• PDE-Net：从数据中学习偏微分方程：ICML18

模型发现

• 用于科学机器学习的通用微分方程：arXiv20

深度学习的动力系统视角

循环神经网络

• 连续时间循环神经网络稳定性分析的全面综述：IEEE 神经网络汇刊 2006

• 反对称RNN：从动力系统视角看循环神经网络：ICLR19

• 循环神经网络在微分方程的视角下：arXiv19

• 可视化RNN中的记忆现象：distill19

• 后退一步，前进两步：循环神经网络中的干扰与学习：arXiv18

• 针对情感分类的循环网络逆向工程揭示了线性吸引子动力学：arXiv19

• 基于时间感知的神经序列模型的系统辨识：AAAI20

• 循环网络中的普适性与个体性：NeurIPS19

理论与观点

• 基于动力系统进行机器学习的建议：数学与统计通讯 2017

• 深度学习理论综述：最优控制与动力系统视角：arXiv19

• 深度神经网络的稳定架构：IP17

• 超越有限层神经网络：连接深度架构与数值微分方程：ICML18

• 综述：用于深度学习的常微分方程：arXiv19

优化

• 梯度与哈密顿动力学在神经网络学习中的应用：NIPS96

• 基于极大值原理的深度学习算法：JMLR17

• 哈密顿下降法：arXiv18

• 基于端口哈密顿方法的神经网络训练：CDC19，代码

• 深度学习的最优控制方法及其在离散权重神经网络中的应用：arXiv19

• 通过隐式微分优化数百万个超参数：arXiv19

• 优化算法的影子特性：NeurIPS19

软件与库

Python

• torchdyn：PyTorch 中用于神经微分方程相关任务的库。仓库，文档
• torchdiffeq：具有完整 GPU 支持和 O(1) 内存反向传播的可微分常微分方程求解器：仓库
• torchsde：支持 GPU 的随机微分方程（SDE）求解器，并提供高效的灵敏度分析：仓库
• torchcde：具备 GPU 功能的受控微分方程（CDE）求解器：仓库
• torchSODE：PyTorch 中的块对角常微分方程求解器：仓库
• neurodiffeq：基于 PyTorch 的轻量级、灵活的库，用于利用神经网络求解微分方程：仓库

Julia

• DiffEqFlux：仓库

具有 O(1) 反向传播、GPU 支持以及刚性和非刚性微分方程求解器的神经微分方程求解器。支持神经常微分方程（neural ODE）、神经随机微分方程（neural SDE）、神经时滞微分方程（neural DDE）、神经偏微分方程（neural PDE）以及神经跳跃随机微分方程（neural jump diffusions）。所有这些都可以使用高阶方法求解，并具备自适应时间步长和自动刚性检测功能，可在不同方法之间切换。

• NeuralNetDiffEq：通过深度神经网络实现的 ODE、SDE 和 PDE 求解器：仓库

网站与博客

• 科学机器学习博客（Chris Rackauckas 和 SciML）：链接

Awesome Neural ODE 快速上手指南

awesome-neural-ode 并非一个单一的 Python 包或可执行工具，而是一个精选资源列表（Awesome List），汇集了关于微分方程、动力系统与深度学习交叉领域的论文、代码库、软件库及博客文章。

本指南将帮助你快速定位核心代码库，搭建开发环境，并运行一个基础的 Neural ODE 示例。

1. 环境准备

由于该列表涵盖多种实现（主要基于 PyTorch 和 Julia），以下以目前生态最完善的 PyTorch 环境为例。

• 操作系统: Linux, macOS 或 Windows (推荐 Linux)
• Python 版本: >= 3.8
• 核心依赖:
  • torch: 深度学习框架
  • torchdiffeq: 由 Neural ODE 原作者维护的可微分 ODE 求解器（最常用）
  • numpy, matplotlib: 数据处理与可视化

国内加速建议: 建议使用清华源或阿里源安装 Python 包，以提升下载速度。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

2. 安装步骤

步骤 1: 创建虚拟环境（推荐）

python -m venv neural_ode_env
source neural_ode_env/bin/activate  # Windows 用户请使用: neural_ode_env\Scripts\activate

步骤 2: 安装 PyTorch

请根据你的 CUDA 版本选择对应的安装命令。若无 GPU，可使用 CPU 版本。

# 示例：安装 CPU 版本 (使用清华源加速)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torch torchvision torchaudio

步骤 3: 安装核心求解器库

列表中大多数 Neural ODE 项目依赖 torchdiffeq。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple torchdiffeq

步骤 4: 获取参考代码

你可以克隆列表中提到的官方示例仓库，或直接参考下文的基本使用示例。

git clone https://github.com/rtqichen/torchdiffeq.git
cd torchdiffeq/examples

3. 基本使用

以下是一个最简单的 Neural ODE 训练示例，用于拟合一个简单的螺旋线轨迹数据。此代码展示了如何定义 ODE 函数、设置求解器并进行反向传播。

创建一个名为 simple_neural_ode.py 的文件：

import torch
import torch.nn as nn
from torchdiffeq import odeint
import matplotlib.pyplot as plt

# 1. 定义神经网络作为微分方程 f(x, t)
class ODEFunc(nn.Module):
    def __init__(self):
        super(ODEFunc, self).__init__()
        self.net = nn.Sequential(
            nn.Linear(2, 50),
            nn.Tanh(),
            nn.Linear(50, 2),
        )

    def forward(self, t, x):
        # 注意：torchdiffeq 要求 forward(t, x)，t 是标量或时间向量
        return self.net(x)

# 2. 生成模拟数据 (螺旋线)
true_y0 = torch.tensor([[2., 0.]])
t = torch.linspace(0., 25., 1000)
with torch.no_grad():
    # 这里仅为了演示生成数据，实际训练中这是你的 Ground Truth
    # 使用简单的旋转矩阵模拟真实动力学
    true_y = torch.stack([2 * torch.cos(t), 2 * torch.sin(t)]).T.unsqueeze(0)

# 3. 初始化模型和优化器
func = ODEFunc()
optimizer = torch.optim.Adam(func.parameters(), lr=1e-3)

# 4. 训练循环
print("开始训练 Neural ODE...")
for iter in range(100):
    optimizer.zero_grad()
    
    # 求解 ODE: dx/dt = func(x, t)
    pred_y = odeint(func, true_y0, t)
    
    # 计算损失 (MSE)
    loss = torch.mean((pred_y - true_y) ** 2)
    loss.backward()
    optimizer.step()
    
    if iter % 10 == 0:
        print(f"Iter {iter}, Loss: {loss.item():.4f}")

# 5. 可视化结果
plt.figure(figsize=(6, 6))
plt.plot(true_y[:, 0], true_y[:, 1], 'b-', label='True Dynamics')
plt.plot(pred_y.detach().numpy()[0, :, 0], pred_y.detach().numpy()[0, :, 1], 'r--', label='Neural ODE')
plt.legend()
plt.title('Neural ODE Fitting Result')
plt.show()

运行示例

在终端执行：

python simple_neural_ode.py

下一步探索

根据 awesome-neural-ode 列表，你可以进一步探索以下方向：

• Neural SDEs/CDEs: 处理随机性或连续时间离散观测数据（查看列表中 Neural SDEs 部分）。
• Hamiltonian/Lagrangian NN: 用于物理系统建模，保证能量守恒（查看 General Architectures 部分）。
• Scientific ML: 使用深度学习求解偏微分方程（PDE），参考 Fourier Neural Operator 等相关项目。