DeepONet：学习非线性算子

本文的源代码来自论文 L. Lu, P. Jin, G. Pang, Z. Zhang, & G. E. Karniadakis. 通过基于算子通用逼近定理的DeepONet学习非线性算子。《自然·机器智能》，3, 218-229, 2021。

系统要求

大部分代码使用 Python 3 编写，并依赖深度学习库 DeepXDE。部分代码使用 Matlab（版本 R2019a）编写。

安装指南

1. 安装 Python 3
2. 安装 DeepXDE v0.11.2（https://github.com/lululxvi/deepxde）。如果您使用的是 DeepXDE > 0.11.2 版本，需要将 OpNN 重命名为 DeepONet，OpDataSet 重命名为 Triple，并进行其他相应修改。对于使用较新版本 DeepXDE 的 DeepONet 代码，请参阅 https://github.com/lu-group/deeponet-fno。
3. 可选：对于 CNN 模型，需安装 Matlab 和 TensorFlow 1；对于 Seq2Seq 模型，需安装 PyTorch。

安装过程可能需要 10 分钟到 1 小时不等。

示例演示

案例 反导数

1. 打开 deeponet_pde.py，根据注释在函数 main() 和 ode_system() 中选择合适的参数和设置；
2. 运行 deeponet_pde.py，程序将首先生成训练集和测试集，然后训练一个 DeepONet 模型。训练和测试的 MSE 误差将显示在屏幕上。

标准输出如下：

构建算子神经网络...
'build' 耗时 0.104784 秒

生成算子数据...
'gen_operator_data' 耗时 20.495655 秒

生成算子数据...
'gen_operator_data' 耗时 168.944620 秒

编译模型...
'compile' 耗时 0.265885 秒

初始化变量...
开始训练模型...

步数      训练损失    测试损失     测试指标
0         [1.09e+00]    [1.11e+00]    [1.06e+00]
1000      [2.57e-04]    [2.87e-04]    [2.76e-04]
2000      [8.37e-05]    [9.99e-05]    [9.62e-05]
...
50000     [9.98e-07]    [1.39e-06]    [1.09e-06]

最佳模型出现在第 46000 步：
  训练损失：6.30e-07
  测试损失：9.79e-07
  测试指标：[7.01e-07]

'train' 耗时 324.343075 秒

保存损失历史到 loss.dat ...
保存训练数据到 train.dat ...
保存测试数据到 test.dat ...
从 model/model.ckpt-46000 中恢复模型 ...

预测...
'predict' 耗时 0.056257 秒

预测...
'predict' 耗时 0.012670 秒

测试 MSE：9.269857471315847e-07
剔除异常值后的测试 MSE：6.972881784590493e-07

您可以在输出的末尾获取训练和测试误差。

运行时间会因您选择的参数而异，例如数据集大小和训练迭代次数，通常在几分钟到几小时之间。

案例 随机常微分方程/偏微分方程

1. 打开 sde.py，在函数 main() 中选择合适的参数和设置；
2. 运行 sde.py，程序将生成训练集和测试集；
3. 打开 deeponet_dataset.py，在函数 main() 中选择合适的参数和设置；
4. 运行 deeponet_dataset.py 来训练一个 DeepONet 模型。训练和测试的 MSE 误差将显示在屏幕上。

案例 一维 Caputo 分数阶导数

1. 进入 fractional 文件夹；
2. 运行 Caputo1D.m 生成训练集和测试集。您可以在 Orthogonal_polynomials.m 中指定正交多项式为勒让德多项式或分数阶多项式。预计运行时间为 20 分钟。
3. 运行 datasets.py 对生成的数据集进行打包和压缩。预期输出为压缩后的 .npz 文件。预计运行时间为 5 分钟。
4. 运行 DeepONet_float32_batch.py 来训练和测试 DeepONets。预期输出为训练和测试损失曲线图。预计运行时间为 1 小时。

案例 二维分数阶拉普拉斯算子

使用 DeepONets 学习二维分数阶拉普拉斯算子

1. 运行 Fractional_Lap_2D.m 生成训练集和测试集。预期输出为存储训练和测试数据的文本文件。预计运行时间为 40 分钟。
2. 运行 datasets.py 对生成的数据集进行打包和压缩。预期输出为压缩后的 .npz 文件。预计运行时间为 15 分钟。
3. 运行 DeepONet_float32_batch.py 来训练和测试 DeepONets。预计运行时间为 3 小时。

使用 CNN 学习二维分数阶拉普拉斯算子

1. 假设上一步已经生成了包含所有训练和测试数据的文本文件。
2. 运行 CNN_operator_alpha.py 来训练和测试 CNN 模型。预期输出为训练和测试损失曲线图。预计运行时间为 30 分钟。

Seq2Seq

1. 打开 seq2seq_main.py，在 main() 函数中选择具体问题，必要时修改对应函数中的参数和设置（如 antiderivative() 或 pendulum()）；
2. 运行 seq2seq_main.py，程序将首先生成数据集，然后基于该数据集训练 Seq2Seq 模型。训练和测试的 MSE 误差将显示在屏幕上。此外，损失历史、生成的数据以及训练得到的最佳模型都将保存到指定目录（./outputs/）。

标准输出如下：

训练...
0             训练损失：0.21926558017730713         测试损失：0.22550159692764282
1000       训练损失：0.0022761737927794456     测试损失：0.0024939212016761303
2000       训练损失：0.0004760705924127251     测试损失：0.0005566366016864777
...
49000     训练损失：1.2885914202342974e-06    测试损失：1.999963387788739e-06
50000     训练损失：1.1382834372852813e-06    测试损失：1.8525416862757993e-06
完成！
'run' 耗时 747.5421471595764 秒
最佳模型出现在第 50000 次迭代：
训练损失：1.1382834372852813e-06 测试损失：1.8525416862757993e-06

您可以在输出的末尾获取训练和测试误差。

运行时间会因您选择的参数而异，例如数据集大小和训练迭代次数，通常在几分钟到几小时之间。

使用说明

各案例的运行说明如下：

• 勒让德变换：与示例中的“反导数”相同。您需要修改 deeponet_pde.py 中的 main() 函数。
• 反导数：见示例。
• 分数阶（一维）：见示例。
• 分数阶（二维）：见示例。
• 非线性常微分方程：与示例中的“反导数”相同。您需要修改 deeponet_pde.py 中的 main() 和 ode_system() 函数。
• 重力摆：与示例中的“反导数”相同。您需要修改 deeponet_pde.py 中的 main() 和 ode_system() 函数。
• 扩散-反应：与示例中的“反导数”相同。您需要修改 deeponet_pde.py 中的 main() 函数。
• 对流：与示例中的“反导数”相同。您需要修改 deeponet_pde.py 中的 main() 函数、run() 函数、system.py 中的 CVCSystem() 函数以及 CVC_solver.py 中的 solve_CVC() 函数，以运行每个案例。
• 对流-扩散：与示例中的“反导数”相同。您需要修改 deeponet_pde.py 中的 main() 函数。
• 随机常微分方程/偏微分方程：见示例。

引用本工作

如果您将此代码用于学术研究，建议引用以下论文：

@article{lu2021learning,
  title   = {Learning nonlinear operators via {DeepONet} based on the universal approximation theorem of operators},
  author  = {Lu, Lu and Jin, Pengzhan and Pang, Guofei and Zhang, Zhongqiang and Karniadakis, George Em},
  journal = {Nature Machine Intelligence},
  volume  = {3},
  number  = {3},
  pages   = {218--229},
  year    = {2021}
}

问题

如需获取有关如何使用数据或代码的帮助，请在 GitHub 的“Issues”版块中提交一个问题。

许可证

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议授权。

DeepONet 快速上手指南

DeepONet 是一个基于算子通用逼近定理的深度学习框架，用于学习非线性算子。本指南将帮助你快速配置环境并运行首个示例。

环境准备

在开始之前，请确保你的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python：Python 3.x
• 核心依赖：DeepXDE (深度科学计算库)
• 可选依赖：
  • 若需运行 CNN 相关案例：需安装 Matlab (R2019a+) 和 TensorFlow 1.x
  • 若需运行 Seq2Seq 相关案例：需安装 PyTorch

注意：本仓库代码主要基于 DeepXDE v0.11.2 开发。若使用更高版本的 DeepXDE，需手动修改类名（如将 OpNN 改为 DeepONet，OpDataSet 改为 Triple），建议初学者直接安装指定版本以避免兼容性问题。

安装步骤

1. 安装 Python 环境

确保已安装 Python 3。推荐使用 conda 创建独立环境：

conda create -n deeponet python=3.8
conda activate deeponet

2. 安装 DeepXDE (指定版本)

为了与源码完全兼容，请安装 v0.11.2 版本。

方案 A：使用 pip 安装（推荐）

pip install deepxde==0.11.2

国内用户加速：

pip install deepxde==0.11.2 -i https://pypi.tuna.tsinghua.edu.cn/simple

方案 B：从源码安装（如需特定修改）

git clone https://github.com/lululxvi/deepxde.git
cd deepxde
git checkout v0.11.2  # 切换到对应版本标签
pip install .

3. 获取 DeepONet 源码

git clone https://github.com/lu-group/deeponet.git
cd deeponet

4. 安装其他可选依赖

根据你需要运行的案例类型安装额外库：

• Seq2Seq 案例:

  pip install torch torchvision torchaudio
  # 国内加速
  # pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple
  

• CNN 案例: 需自行安装 Matlab 和 TensorFlow 1.x (此部分较复杂，初学建议先跳过)。

基本使用

以下以 反导数 (Antiderivative) 案例为例，演示如何训练一个基础的 DeepONet 模型。

1. 配置参数

打开 deeponet_pde.py 文件。根据文件内的注释，在 main() 和 ode_system() 函数中确认或调整参数设置。对于首次运行，通常无需修改即可使用默认配置。

2. 运行训练脚本

在项目根目录下执行以下命令：

python deeponet_pde.py

3. 查看结果

脚本将自动执行以下流程：

1. 生成训练集和测试集数据。
2. 构建并编译 DeepONet 模型。
3. 开始训练并实时打印损失值。

预期输出示例：

Building operator neural network...
'build' took 0.104784 s

Generating operator data...
'gen_operator_data' took 20.495655 s

... (数据生成与编译过程) ...

Step      Train loss    Test loss     Test metric
0         [1.09e+00]    [1.11e+00]    [1.06e+00]
1000      [2.57e-04]    [2.87e-04]    [2.76e-04]
...
50000     [9.98e-07]    [1.39e-06]    [1.09e-06]

Best model at step 46000:
  train loss: 6.30e-07
  test loss: 9.79e-07
  
Test MSE: 9.269857471315847e-07

运行结束后，当前目录下将生成 loss.dat (损失历史), train.dat, test.dat 以及保存的最佳模型文件。

提示：运行时间取决于数据集大小和迭代次数，通常在几分钟到几小时不等。如需尝试其他案例（如随机微分方程、分数阶导数等），请参考 README 中对应的 Case 章节运行相应的 .py 或 .m 脚本。