$\nabla$ NABLA-SciML

Neural Algorithms & Basis Learning Approximations for Scientific Machine Learning

欢迎来到 $\nabla$ NABLA-SciML！

我是 胡安·迭戈·托斯卡诺，自2022年起在 乔治·卡尔尼亚达基斯教授 的指导下攻读博士学位。我的研究致力于科学机器学习（SciML）领域，特别关注开发可靠且稳定的机器学习方法，以研究和理解那些无法用传统技术分析的复杂物理系统（例如脑脊液流动或湍流）。

NABLA 是我持续工作的成果集合，旨在为物理信息神经网络（PINNs）、DeepONets 以及 KAN 等新型架构提供高效、可复现的统一框架。

仓库结构

代码库包含以下独立模块：

1. 教程：使用 PyTorch 和 JAX 对 PINNs 和 DeepONets 的基础介绍。其中大多数示例都配有我在 YouTube 频道 上发布的相应视频教程。
2. RBA：基于残差的注意力机制代码 [1]。我们的官方仓库地址为：rba-pinns。
3. cKANs：用于全面比较 MLP 和 KAN 表征的实现 [2]。
4. KKANs：库尔科娃-科尔莫戈洛夫-阿诺德网络的源代码 [3]。我们的官方仓库地址为：KKANs。
5. vRBA：基于残差的自适应变分框架 [4]。注意：该模块包含我们自定义的高度精确的 自缩放布罗伊登（SSBroyden） 优化器。
6. AIVT：湍流热对流的代码托管在其专用仓库中：Instant-AIVT。
7. MR-AIV：全脑流体流动的代码即将发布。

🛠️ 安装

关于仓库结构的说明：

• RBA 和 cKANs：这两个目录是 自包含的。只要您已正确安装 JAX，即可直接作为独立脚本运行。
• KKANS 和 vRBA（以及 SSBroyden）：要使用我们的 KKANS、基于残差的变分自适应框架以及高度精确的 SSBroyden 优化器，您必须按照以下步骤安装 Crunch 库。

设置说明（vRBA 所需）

1. 克隆仓库：

   git clone [https://github.com/jdtoscano94/NABLA-SciML.git](https://github.com/jdtoscano94/NABLA-SciML.git)
   cd NABLA-SciML
   

2. 创建并激活虚拟环境（推荐）：

   conda create -n nabla_env python=3.10
   conda activate nabla_env
   

3. 安装支持 GPU 的 JAX： (所有模块都需要此依赖项。我们建议先显式安装，以确保 CUDA 支持）

   pip install -U "jax[cuda12]"
   

4. 安装 NABLA 包： 这将以可编辑模式安装库，这对于导入 vRBA 模型和 SSBroyden 优化器至关重要。

   pip install -e .
   

📚 参考文献

如果您在研究中使用了本仓库中的代码，请考虑引用以下相关论文：

[1] 基于残差的注意力机制（RBA）

@article{anagnostopoulos2024residual,
  title={Residual-based attention in physics-informed neural networks},
  author={Anagnostopoulos, Sokratis J and Toscano, Juan Diego and Stergiopulos, Nikolaos and Karniadakis, George Em},
  journal={Computer Methods in Applied Mechanics and Engineering},
  volume={421},
  pages={116805},
  year={2024},
  publisher={Elsevier}
}

[2] 全面的 KANs（cKANs）

@article{shukla2024comprehensive,
  title={A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks},
  author={Shukla, Khemraj and Toscano, Juan Diego and Wang, Zhicheng and Zou, Zongren and Karniadakis, George Em},
  journal={Computer Methods in Applied Mechanics and Engineering},
  volume={431},
  pages={117290},
  year={2024},
  publisher={Elsevier}
}

[3] 库尔科娃-科尔莫戈洛夫-阿诺德网络（KKANs）

@article{toscano2025kkans,
  title={KKANs: Kurkova-Kolmogorov-Arnold networks and their learning dynamics},
  author={Toscano, Juan Diego and Wang, Li-Lian and Karniadakis, George Em},
  journal={Neural Networks},
  volume={191},
  pages={107831},
  year={2025},
  publisher={Elsevier}
}

[4] 基于残差的变分自适应（vRBA）

@article{toscano2025variational,
  title={A Variational Framework for Residual-Based Adaptivity in Neural PDE Solvers and Operator Learning},
  author={Toscano, Juan Diego and Chen, Daniel T and Oommen, Vivek and Darbon, J{'e}r{\^o}me and Karniadakis, George Em},
  journal={arXiv preprint arXiv:2509.14198},
  year={2025}
}

[5] AIVT（湍流推断）

@article{toscano2025aivt,
  title={AIVT: Inference of turbulent thermal convection from measured 3D velocity data by physics-informed Kolmogorov-Arnold networks},
  author={Toscano, Juan Diego and K{\"a}ufer, Theo and Wang, Zhibo and Maxey, Martin and Cierpka, Christian and Karniadakis, George Em},
  journal={Science advances},
  volume={11},
  number={19},
  pages={eads5236},
  year={2025},
  publisher={American Association for the Advancement of Science}
}

[6] MR-AIV（脑部流体流动）

@article{toscano2025mr,
  title={MR-AIV reveals in vivo brain-wide fluid flow with physics-informed AI},
  author={Toscano, Juan Diego and Guo, Yisen and Wang, Zhibo and Vaezi, Mohammad and Mori, Yuki and Karniadakis, George Em and Boster, Kimberly AS and Kelley, Douglas H},
  journal={bioRxiv},
  year={2025}
}

NABLA-SciML 快速上手指南

NABLA-SciML 是一个用于科学机器学习（SciML）的统一框架，由 Juan Diego Toscano 开发。它提供了物理信息神经网络（PINNs）、DeepONets 以及最新架构（如 KANs、KKANs）的高效且可复现的实现，特别适用于研究复杂物理系统（如脑脊液流动或湍流）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: 3.10 (官方推荐)。
• 硬件加速: 推荐使用 NVIDIA GPU 以获得最佳性能（需安装 CUDA 支持）。
• 包管理器: 推荐使用 conda 管理虚拟环境。
• 核心依赖:
  • JAX: 所有模块的核心后端。
  • Crunch 库: 若需使用 KKANs、vRBA 框架或 SSBroyden 优化器，必须安装此库（通过本仓库安装）。

注意：部分模块（如 RBA 和 cKANs）是独立的，仅需 JAX 即可运行；但为了完整体验（特别是 vRBA 和自定义优化器），建议按照下方步骤进行完整安装。

安装步骤

请依次执行以下命令来完成环境配置和库的安装。

1. 克隆仓库

git clone https://github.com/jdtoscano94/NABLA-SciML.git
cd NABLA-SciML

2. 创建并激活虚拟环境

推荐使用 conda 创建隔离环境：

conda create -n nabla_env python=3.10
conda activate nabla_env

3. 安装带 GPU 支持的 JAX

为了确保 CUDA 加速正常工作，建议显式安装指定版本的 JAX：

pip install -U "jax[cuda12]"

(注：如果您的 CUDA 版本不是 12，请相应调整，例如 jax[cuda11])

4. 安装 NABLA 包

以可编辑模式安装本库，这将同时部署 vRBA 模型、SSBroyden 优化器及 Crunch 依赖：

pip install -e .

基本使用

NABLA-SciML 的目录结构模块化清晰，不同功能位于不同子目录中。以下是两种最常见的使用场景：

场景一：运行独立脚本 (RBA / cKANs)

对于 RBA (残差注意力机制) 和 cKANs (MLP 与 KAN 对比) 模块，它们是自包含的。您可以直接进入对应目录运行示例脚本：

# 进入 RBA 目录并运行示例 (假设目录下有 main.py 或类似入口)
cd RBA
python your_script_name.py

# 或者进入 cKANs 目录
cd ../cKANs
python your_script_name.py

提示：大多数示例在作者的 YouTube 频道配有视频教程，可对照代码学习。

场景二：使用高级框架 (vRBA / KKANs / SSBroyden)

如果您需要使用变分残差自适应框架 (vRBA) 或自缩放 Broyden (SSBroyden) 优化器，请在 Python 代码中直接导入已安装的库：

import jax
import jax.numpy as jnp
from nabla import vRBA  # 导入变分框架
from nabla.optimizers import SSBroyden  # 导入自定义优化器

# 示例：定义一个简单的 PDE 求解流程
# 具体 API 请参考各子模块下的具体示例代码
model = vRBA.Model(...)
optimizer = SSBroyden(learning_rate=1e-3)

# 开始训练循环
# ...

探索教程

初学者建议从 Tutorials 目录开始，那里包含了基于 PyTorch 和 JAX 的 PINNs 及 DeepONets 基础介绍：

cd Tutorials
# 查看具体的 notebook 或 python 脚本
ls

---

更多高级应用（如湍流热对流 AIVT 或脑部流体 MR-AIV）请参考仓库中指向的独立专用仓库链接。