物理信息神经网络（PINNs）

PINNs 由 Raissi 等人在 [1] 中提出，通过将物理规律（即偏微分方程）和边界条件融入损失函数来求解偏微分方程。该损失函数是基于定义在求解域内“配点”上的 PDE 残差和边界残差的均方误差。

PINNs 的示意图如下：

目前，本仓库包含了使用 TensorFlow 2 和 PyTorch 实现的 Burgers 方程与 Helmholtz 方程的 PINNs。

我们目前正在研究如何集成 SIREN（发表于 NeurIPS 2020 的论文）。

安装

TensorFlow

pip install numpy==1.19.2 scipy==1.5.3 tensorflow==2.0.0 matplotlib==3.3.2 pydoe==0.3.8 seaborn==0.9.0

PyTorch

pip install numpy==1.19.2 scipy==1.5.3 matplotlib==3.3.2 pydoe==0.3.8 torch==1.7.1+cu92 torchvision==0.8.2+cu92 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

对于 GPU 安装，请在 官方网站 上确认兼容的 PyTorch 版本。

注意：较新版本的 seaborn 不再支持 sns.distplot，在绘制梯度直方图时可能会出现问题。

工作总结

1. 使用 L-BFGS 优化器求解刚性偏微分方程

我们使用 L-BFGS 优化器对 PINNs 进行了研究，并将其与 Adam 优化器进行了对比，以观察 [2] 中报道的关于刚性偏微分方程的梯度不平衡现象。结果表明，在使用 L-BFGS 优化器求解刚性偏微分方程时，梯度不平衡问题并不像使用 Adam 优化器时那样明显。然而，由于优化景观的病态特性，PINNs 的收敛速度仍然较慢。

2. PINNs 中的自下而上学习

文献 [3] 报道称，由于损失函数中包含导数项，PINNs 倾向于同时学习解的所有频谱频率。为了探究 PINNs 学习机制是否存在其他变化，我们重新研究了自下而上学习现象。所谓自下而上学习，是指靠近输入层的低层比靠近输出层的高层更快地收敛。文献 [4] 给出了自下而上学习的一个启发式证明，我们在训练 PINN 求解 Burgers 方程时也采用了相同的方法。实验未观察到该机制的变化，从而证实 PINNs 同样遵循自下而上学习的规律。相关视频可在此处观看（https://youtu.be/LmaSPoBVOrA）。

3. PINNs 中的迁移学习

我们研究了迁移学习对 PINNs 的影响，以了解其对解的误差有何作用。总体观察表明，与随机的 Xavier 初始化相比，迁移学习有助于找到更好的局部极小值。

参考文献

[1] Maziar Raissi, Paris Perdikaris, and George Em Karniadakis. 物理信息深度学习（第一部分）：非线性偏微分方程的数据驱动解法。http://arxiv.org/pdf/1711.10561v1

[2] Sifan Wang, Yujun Teng, Paris Perdikaris. 理解并缓解物理信息神经网络中的梯度病理现象。2020 年。https://arxiv.org/pdf/2001.04536.pdf。

[3] Lu Lu 等人。DeepXDE：用于求解微分方程的深度学习库。2019 年。https://arxiv.org/abs/1907.04502

[4] Maithra Raghu 等人。SVCCA：用于深度学习动态性和可解释性的奇异向量典型相关分析。http://arxiv.org/pdf/1706.05806v2

[5] Levi McClenny 和 Ulisses Braga-Neto. 基于软注意力机制的自适应物理信息神经网络。2020 年。https://arxiv.org/abs/2009.04544

Physics-Informed-Neural-Networks (PINNs) 快速上手指南

本指南帮助开发者快速部署并使用基于 TensorFlow 2 和 PyTorch 的 PINNs 实现，用于求解 Burgers' 方程和 Helmholtz 方程等偏微分方程（PDE）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6 - 3.8（根据依赖包版本兼容性）
• 硬件加速（可选）：若使用 GPU 加速，请确保已安装对应的 NVIDIA 驱动和 CUDA 工具包。

安装步骤

本项目支持 TensorFlow 2 和 PyTorch 两种后端，请根据需求选择其一进行安装。

方案 A：TensorFlow 后端

直接运行以下命令安装指定版本的依赖：

pip install numpy==1.19.2 scipy==1.5.3 tensorflow==2.0.0 matplotlib==3.3.2 pydoe==0.3.8 seaborn==0.9.0

国内加速建议：如遇下载缓慢，可添加清华源参数： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...

方案 B：PyTorch 后端

运行以下命令安装依赖（包含 CPU/GPU 版本）：

pip install numpy==1.19.2 scipy==1.5.3 matplotlib==3.3.2 pydoe==0.3.8 torch==1.7.1+cu92 torchvision==0.8.2+cu92 torchaudio==0.7.2 -f https://download.pytorch.org/whl/torch_stable.html

注意：

1. 上述命令默认安装 CUDA 9.2 版本。如需其他 CUDA 版本或纯 CPU 版本，请访问 PyTorch 官网 获取对应命令。
2. 国内用户可使用清华 PyTorch 镜像加速：-f https://download.pytorch.org/whl/cu92/torch_stable.html 替换为国内可用源，或直接下载 wheel 文件本地安装。
3. 请勿升级 seaborn 至新版本，新版不再支持 sns.distplot，会导致梯度直方图绘制报错。

基本使用

本仓库目前提供了针对 Burgers' 方程 和 Helmholtz 方程 的实现示例。

1. 核心原理简述

PINNs 通过将物理定律（PDE 方程）和边界条件融入损失函数来训练神经网络。损失函数定义为域内“配置点”（collocation points）上的 PDE 残差和边界残差的均方误差（MSE）。

2. 运行示例

克隆仓库后，进入项目目录，根据您选择的后端运行相应的脚本（假设脚本名为 solve_burgers_tf.py 或 solve_burgers_torch.py）：

TensorFlow 示例：

# 导入必要的库
import tensorflow as tf
from pinn_solver import PINN  # 假设的模块路径，具体请参考仓库内脚本

# 初始化模型并训练 (以 Burgers 方程为例)
# 代码逻辑通常包含：定义网络结构 -> 生成配置点 -> 定义损失函数 -> 优化器训练
# 本项目研究了 L-BFGS 和 Adam 优化器，推荐对刚性 PDE 使用 L-BFGS 以获得更好的收敛性。

PyTorch 示例：

# 导入必要的库
import torch
from pinn_solver import PINN 

# 训练流程
# 支持自底向上（Bottom-Up）学习机制的观察，即靠近输入层的底层比靠近输出层的上层收敛更快。
# 同时也支持迁移学习（Transfer Learning），相比随机 Xavier 初始化，有助于找到更优的局部最小值。

注：由于 README 未提供具体的单文件入口脚本名称，请直接查看仓库根目录下的 .py 文件（如 burgers_tf.py, helmholtz_torch.py 等），直接运行即可复现论文中的实验结果。

3. 进阶特性

• 优化器选择：对于刚性 PDE（Stiff PDEs），建议使用 L-BFGS 优化器，它能缓解梯度不平衡问题，尽管收敛速度仍受优化地形病态影响。
• 可视化：训练完成后，利用 matplotlib 和 seaborn (v0.9.0) 可查看解的分布及梯度直方图。