利用归纳偏置从深度学习中发现符号模型

这个仓库是利用归纳偏置从深度学习中发现符号模型的官方实现。

迈尔斯·克兰默、阿尔瓦罗·桑切斯-冈萨雷斯、彼得·巴塔利亚、徐睿、凯尔·克兰默、大卫·斯珀格尔、雪莉·霍

请查看我们的博客、论文、视频以及交互式演示。

需求

对于模型：

• PyTorch
• PyTorch Geometric
• NumPy

符号回归：

• PySR，我们新推出的开源 Eureqa 替代工具

对于模拟：

• JAX（简单的 N 体模拟）
• Quijote（暗物质数据；可选）
• tqdm
• Matplotlib

训练

要训练论文中的示例模型，请尝试使用演示。

完整的模型定义在 models.py 中给出。数据由 simulate.py 生成。

结果

我们基于以下方程产生的模拟进行训练： 从而得到时间序列：

我们记录了每个模型的性能： 并测量了每个模型的消息与力的线性组合之间的相关性：

最后，我们在一个暗物质模拟上进行了训练，并从消息函数中提取了以下方程：

symbolic_deep_learning 快速上手指南

本指南帮助中国开发者快速部署并使用 symbolic_deep_learning，该工具通过结合归纳偏置的深度学习模型，从数据中发现符号化物理方程。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 用户建议使用 WSL2)
• Python 版本: 推荐 Python 3.8 - 3.10
• 硬件: 建议配备 NVIDIA GPU 以加速训练（可选，CPU 亦可运行小规模演示）

核心依赖库：

• pytorch: 深度学习框架
• pytorch-geometric: 图神经网络支持
• PySR: 符号回归引擎（本项目核心组件）
• jax: 用于生成简单的 N-body 模拟数据
• numpy, tqdm, matplotlib: 基础数据处理与可视化

国内加速建议：安装 Python 包时，推荐使用清华源或阿里源以提升下载速度。

安装步骤

1. 克隆项目代码

git clone https://github.com/MilesCranmer/symbolic_deep_learning.git
cd symbolic_deep_learning

2. 创建虚拟环境（推荐）

python -m venv venv
source venv/bin/activate  # Windows 用户使用: venv\Scripts\activate

3. 安装依赖

使用国内镜像源安装基础依赖：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install numpy tqdm matplotlib jax jaxlib --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装 pytorch-geometric（需根据 PyTorch 版本匹配，以下为通用安装方式）：

pip install pytorch-geometric --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装符号回归核心库 PySR：

pip install pysr --index-url https://pypi.tuna.tsinghua.edu.cn/simple

(可选) 若需复现暗物质模拟结果，需额外安装 quijote，请参考其官方仓库说明。

基本使用

最快速的上手方式是运行官方提供的 Colab 演示，或在本地运行简化版流程。

方式一：在线体验（推荐新手）

无需本地配置环境，直接在浏览器中运行完整演示：

• 访问 Google Colab 交互式演示
• 点击 "运行时" -> "全部运行" 即可观察从模拟数据生成到符号方程提取的全过程。

方式二：本地运行示例

1. 生成模拟数据 使用内置脚本生成基于特定物理方程的时间序列数据：

python simulate.py

2. 训练模型 模型定义位于 models.py。您可以修改该文件选择不同架构，然后启动训练（需自行编写简单的训练循环调用 models.py 中的类，或参考 GN_Demo_Colab.ipynb 中的训练逻辑）。

核心训练逻辑示例（伪代码参考）：

from models import GNModel
import torch

# 初始化模型
model = GNModel()

# 假设 data 已通过 simulate.py 生成并加载
# optimizer = torch.optim.Adam(model.parameters(), lr=0.01)

# 训练循环
# for step in range(num_steps):
#     loss = model(data)
#     loss.backward()
#     optimizer.step()

3. 提取符号方程 训练完成后，使用 PySR 对模型的中间表示（message function）进行符号回归，以发现潜在的物理公式。具体提取逻辑需参考论文中描述的“消息函数与力的线性组合相关性”分析部分。

---

更多详细实验结果和暗物质模拟案例，请参阅原论文或项目博客。