神经网络可视化

神经网络架构与参数的可视化。

新闻

• (2023年11月23日) 硕士论文已发表 [链接] [PDF]
• (2023年10月13日) 添加了 Docker（详见 DOCKER.md）及 Docker 镜像（详见 这里）
• (2023年10月11日) 修复了演示和评估脚本中的错误，并增加了更多示例网络
• (2022年12月30日) 增加了 VR 支持（详见 VR_TOOL.md）

论文

本项目是作为我的硕士论文完成的。论文中对该项目的总体描述如下：

摘要

人工神经网络是人工智能领域中一个热门的研究方向。随着大型模型规模和复杂性的不断增加，也带来了一些问题。由于神经网络内部运作缺乏透明度，使得为不同任务选择高效架构变得困难。解决这些问题颇具挑战性，而缺乏对神经网络的深入可视化表示，则进一步加剧了这一现状。基于上述困难，本文提出了一种新颖的 3D 可视化技术。通过利用神经网络优化领域的成熟方法，对训练好的神经网络的各项属性进行估计。结合微调和特征提取，采用批归一化技术来评估神经网络各部分的重要性。将这些重要性数值与边缘聚束、光线追踪、3D 替代物以及特殊的透明度技术相结合，最终生成一个能够代表神经网络的 3D 模型。本文还验证了所提取的重要性估计的有效性，并探讨了该可视化技术的应用潜力。

全文

可在大学出版服务器上找到 [链接] [PDF]

引用

如果您在研究中使用了我的工作，请使用以下 BibTeX 条目进行引用：

@mastersthesis{Rogawski2023,
  author      = {Julian Rogawski},
  title       = {神经网络可视化},
  type        = {masterthesis},
  pages       = {ii, 48},
  school      = {科布伦茨大学，大学图书馆},
  year        = {2023},
}

使用方法

1. 按照 此处 的说明准备 configs/processing.json 文件中的参数。
2. 创建并处理一个神经网络模型。以 MNIST 数据集为例，可在 examples/process_mnist_model.py 中找到相关流程。
3. 启动可视化工具 start_tool.py，并通过“加载已处理网络”选项选择并渲染神经网络的可视化结果。
   • 使用“加载已处理网络”可选择并加载已处理的、经过边与节点聚束的模型。
   • 使用“加载网络”则可选择并加载未经处理的网络，其中包含其重要性值，但未进行边与节点的聚束。

或者

1. 运行 start_tool.py --demo 下载一些已处理模型及其重要性数据，并自动加载和渲染其中一个。
   • 使用“加载已处理网络”可选择不同的已处理网络并进行可视化。
   • 使用“加载网络”则可选择不同的未处理网络，仅显示其重要性值，而不进行节点和边的聚束。

examples 目录下包含多个脚本，可用于创建和处理神经网络。例如，examples/evaluation_plots.py 可用于重现我论文中的评估数据和图表。

示例模型重要性

已处理的模型可在此处下载 链接。

渲染工具

可视化工具 start_tool.py 可用于渲染和/或处理神经网络。除了现有网络外，您还可以生成随机网络并对其不同尺寸进行处理。对于神经网络而言，与常见的可视化方式相比，该工具能够提供更加结构化的视角，展示其训练后的参数分布情况。

VR

更多信息请参见 VR_TOOL.md。

Docker

更多信息请参见 DOCKER.md。

示例

上图所示的三个神经网络虽然具有相同的架构，但训练方式各不相同。左侧的网络未经过任何训练，各节点和边随机分布，整体较为分散。中间的网络采用基础的学习率设置进行训练，准确率超过 90%。右侧的网络则在相同条件下额外加入了 *L1* 正则化，准确率相近，但模型更为紧凑。**边越靠近，表明这部分神经网络的泛化能力越强**。

控制键

键	说明
H	切换旋转
K	截图
0-9	切换相机位置

GUI

通过 GUI 可以控制着色器、统计信息以及神经网络处理的相关设置。

着色器参数

用于渲染神经网络的着色器中的参数可以通过 configs/rendering.json 文件或在 GUI 中更改。可视化效果可能会有很大差异，不同的结果可以在这里查看 这里。

名称	推荐值	范围	描述
大小	0.02	0 - 1.0	基元对象的大小
基础透明度	0.0	0.0 - 1.0	对象的基础透明度
重要性透明度	1.1	0.0 - 2.0	重要性值影响透明度的速率
深度透明度	0.5	0.0 - 1.0	相机距离影响透明度的速率
深度指数	0.25	0.0 - 10.0	物体上不同点的密度影响透明度的速率
重要性阈值	0.1	0.0 - 1.0	定义根据对象的重要性值决定是否渲染的阈值

处理流程

上述流程图解释了通过我的代码对神经网络进行边束化处理的过程。 这张图展示了处理流程中的不同阶段。

参数

处理过程可以受到以下参数的影响。默认值通常来源于与边束化方法相关的研究中经过实验验证的数值。某些参数对处理时间有较大影响。

名称	推荐值	范围	描述	性能影响
边带宽缩减	0.9	0 - 1.0	每次迭代时减少边样本的平流范围	高
节点带宽缩减	0.95	0 - 1.0	每次迭代时减少节点的平流范围	低
边重要性类型	0	{0,1,2,3}	计算边重要性的类型	低
层间距离	0.5	0.0 - 1.0	每一层神经网络节点之间的距离	中等
层宽	1.0	0.0 - 1.0	节点所在的每一层切片的宽度	中等
剪枝百分比	0.0	0.0 - 1.0	根据边的重要性值应忽略的边所占的百分比，数值越低处理时间越长	高
采样率	15.0	5.0 - 20.0	定义每单位距离创建的样本数量，采样率越高细节越丰富	极高
平滑	true	{true, false}	是否应在每次迭代之间对边进行平滑处理？如果不平滑可能会出现断裂	高
平滑迭代次数	8	0 - 16	每次平流迭代之间的平滑迭代次数	高

要更改处理参数，请修改以下文件中的值： configs/processing.json

{
  "edge_bandwidth_reduction": 0.9,
  "edge_importance_type": 0,
  "layer_distance": 0.5,
  "layer_width": 1.0,
  "node_bandwidth_reduction": 0.95,
  "prune_percentage": 0.0,
  "sampling_rate": 15.0,
  "smoothing": true,
  "smoothing_iterations": 8
}

重要性

每个分类用一种颜色表示。节点和边的颜色根据它们在网络中正确预测相应类别的重要性来确定。重要性的有效性可以通过按照计算出的重要性顺序剪除模型参数来证明。

整体重要性剪枝	类别重要性剪枝

左图显示，剪除不重要的参数对模型预测准确率的影响不如剪除重要参数那么大。

此外，基于特定类别的重要性进行剪枝后，右图显示针对这些特定类别的准确率得以保持。专注于某一类别的准确率始终高于整体准确率。

使用的系统

• Windows 10
• NVIDIA GeForce RTX 3080
• AMD Ryzen 7 3700X

注意事项

• 处理时间 - 对于一个全连接神经网络，其各层节点数分别为：784、81、49、10，处理需要3-4分钟。因此，这些一次性计算并非实时进行。
• Python 版本 - 测试版本为 3.9（3.7 和 3.8 曾使用较旧的 Python 依赖项进行测试）。
• 依赖项 - 请查看 requirements.txt 文件。

其他可视化效果

nn_vis 快速上手指南

nn_vis 是一个用于可视化神经网络架构和参数的开源工具，支持生成包含边捆绑（edge bundling）和重要性评估的 3D 模型，帮助开发者直观理解网络内部结构。

环境准备

系统要求

• 操作系统: Windows 10 (Linux/macOS 未明确测试，建议优先在 Windows 环境下使用)
• 硬件推荐:
  • GPU: NVIDIA GeForce RTX 系列 (支持 CUDA 加速渲染)
  • CPU: 多核处理器 (如 AMD Ryzen 7 或 Intel i7)
• Python 版本: Python 3.9 (兼容 3.7/3.8，但需调整依赖版本)

前置依赖

确保已安装以下基础环境：

• Git
• Python 3.9+
• pip

安装步骤

1. 克隆项目仓库

   git clone https://github.com/julrog/nn_vis.git
   cd nn_vis
   

2. 安装 Python 依赖 建议使用国内镜像源加速安装（如清华源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 配置处理参数 编辑 configs/processing.json 文件，可根据需求调整参数（默认值已优化）：

   {
     "edge_bandwidth_reduction": 0.9,
     "edge_importance_type": 0,
     "layer_distance": 0.5,
     "layer_width": 1.0,
     "node_bandwidth_reduction": 0.95,
     "prune_percentage": 0.0,
     "sampling_rate": 15.0,
     "smoothing": true,
     "smoothing_iterations": 8
   }
   

基本使用

方式一：运行演示模式（最快体验）

直接下载预处理的模型数据并启动可视化界面：

python start_tool.py --demo

• 启动后，通过 GUI 选择 Load Processed Network 加载已处理的网络（含边捆绑效果）。
• 或选择 Load Network 加载未处理网络（仅显示重要性值）。

方式二：处理自定义模型

以 MNIST 数据集为例：

1. 运行示例脚本处理模型

   python examples/process_mnist_model.py
   

   注意：全连接网络（784-81-49-10 结构）处理耗时约 3-4 分钟，非实时计算。

2. 启动可视化工具

   python start_tool.py
   

   • 在界面中点击 Load Processed Network，选择生成的模型文件进行渲染。

常用操作快捷键

按键	功能说明
H	切换自动旋转
K	截取当前画面
0-9	切换相机视角位置

高级选项

• Docker 用户: 参考 docs/DOCKER.md 使用容器化部署。
• VR 支持: 参考 docs/VR_TOOL.md 启用虚拟现实模式。