tf_cnnvis

介绍该库的博客文章：https://medium.com/@falaktheoptimist/want-to-look-inside-your-cnn-we-have-just-the-right-tool-for-you-ad1e25b30d90

tf_cnnvis 是一个用于卷积神经网络可视化的库，可以帮助您更好地理解自己的 CNN 模型。它以 TensorFlow 作为后端，并将生成的可视化图像展示在 TensorBoard 中。目前我们实现了两种 CNN 可视化技术：

1. 基于 Matthew D. Zeiler 和 Rob Fergus 的论文《Visualizing and Understanding Convolutional Networks》（https://www.cs.nyu.edu/~fergus/papers/zeilerECCV2014.pdf）。其目标是从卷积神经网络中任意一层所包含的信息重建输入图像。以下是一些示例：

图 1：原始图像以及使用 tf_cnnvis 从 AlexNet 的第 1、2 和 3 层最大池化层重建的版本。

2. 基于 Google 的 Deep Dream 技术的 CNN 可视化。相关博客文章请参阅：https://research.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html。其核心思想是构造一张能够最大化特定输出激活值的输入图像。以下是一些示例：

卡邦纳意面	雪山羊	大象	鸵鸟
奶酪汉堡	网球	钢笔	钟楼
花椰菜	婴儿奶瓶	海狮	海豚

系统要求：

• TensorFlow (>= 1.8)
• numpy
• scipy
• h5py
• wget
• Pillow
• six
• scikit-image

如果您使用 pip 安装，可以运行以下命令：

pip install tensorflow numpy scipy h5py wget Pillow six scikit-image

安装步骤

克隆仓库：

#!bash

git clone https://github.com/InFoCusp/tf_cnnvis.git

然后执行：

#!bash
sudo pip install setuptools
sudo pip install six
sudo python setup.py install
sudo python setup.py clean

引用信息

如果您在工作中使用了本库，请引用以下内容：

  @misc{tf_cnnvis,
    author = {Bhagyesh Vikani, Falak Shah},
    title = {CNN Visualization},
    year = {2017},
    howpublished = {\url{https://github.com/InFoCusp/tf_cnnvis/}},
    doi = {10.5281/zenodo.2594491}
  }

API

tf_cnnvis.activation_visualization(graph_or_path, value_feed_dict, input_tensor=None, layers='r', path_logdir='./Log', path_outdir='./Output')

用于在给定层生成输入图像的激活可视化效果的函数。

参数

• graph_or_path (tf.Graph 对象或字符串) – 包含 CNN 的 TF 图或保存图的路径字符串。

• value_feed_dict (字典) – 在评估图时需要喂入占位符的值

  • 字典 : {placeholder1 : value1, ...}

• input_tensor (tf.tensor 对象 (默认 = None)) – tf.tensor（模型的输入张量，即图像进入模型的地方）注意：这不是与模型分离的独立张量或占位符。

• layers (列表或字符串 (默认 = 'r')) –

  • layerName : 从指定名称的层进行重建
  • ‘r’ : 从所有 ReLU 层进行重建
  • ‘p’ : 从所有池化层进行重建
  • ‘c’ : 从所有卷积层进行重建

• path_outdir (字符串 (默认 = "./Output")) – 用于将结果以图像形式保存到磁盘的目录路径。

• path_logdir (字符串 (默认 = "./Log")) – 用于为 TensorBoard 可视化生成日志文件的日志目录路径。

返回值

• is_success (布尔值) – 如果函数成功运行则返回 True，否则返回 False。

tf_cnnvis.deconv_visualization(graph_or_path, value_feed_dict, input_tensor=None, layers='r', path_logdir='./Log', path_outdir='./Output')

用于从给定层的特征图重建输入图像并生成可视化的函数。

参数

• graph_or_path (tf.Graph 对象或字符串) – 包含 CNN 的 TF 图或保存图的路径字符串。

• value_feed_dict (字典) – 在评估图时需要喂入占位符的值

  • 字典 : {placeholder1 : value1, ...}

• input_tensor (tf.tensor 对象 (默认 = None)) – tf.tensor（模型的输入张量，即图像进入模型的地方）注意：这不是与模型分离的独立张量或占位符。

• layers (列表或字符串 (默认 = 'r')) –

  • layerName : 从指定名称的层进行重建
  • ‘r’ : 从所有 ReLU 层进行重建
  • ‘p’ : 从所有池化层进行重建
  • ‘c’ : 从所有卷积层进行重建

• path_outdir (字符串 (默认 = "./Output")) – 用于将结果以图像形式保存到磁盘的目录路径。

• path_logdir (字符串 (默认 = "./Log")) – 用于为 TensorBoard 可视化生成日志文件的日志目录路径。

返回值

• is_success (布尔值) – 如果函数成功运行则返回 True，否则返回 False。

tf_cnnvis.deepdream_visualization(graph_or_path, value_feed_dict, layer, classes, input_tensor=None, path_logdir='./Log', path_outdir='./Output')

用于从给定层的特征图重建输入图像并生成可视化的函数。

参数

• graph_or_path (tf.Graph 对象或字符串) – 包含 CNN 的 TF 图或保存图的路径字符串。

• value_feed_dict (字典) – 在评估图时需要喂入占位符的值

  • 字典 : {placeholder1 : value1, ...}

• layer (字符串) - TF 图中某一层的名称。

• classes (列表) - 用于分类层的特征图索引列表。

• input_tensor (tf.tensor 对象 (默认 = None)) – tf.tensor（模型的输入张量，即图像进入模型的地方）注意：这不是与模型分离的独立张量或占位符。

• path_outdir (字符串 (默认 = "./Output")) – 用于将结果以图像形式保存到磁盘的目录路径。

• path_logdir (字符串 (默认 = "./Log")) – 用于为 TensorBoard 可视化生成日志文件的日志目录路径。

返回值

• is_success (布尔值) – 如果函数成功运行则返回 True，否则返回 False。

在 TensorBoard 中进行可视化

要启动 TensorFlow，可在控制台中运行以下命令：

#!bash

tensorboard --logdir=./Log

然后在 TensorBoard 主页的 Images 选项卡下查看。

其他辅助函数

tf_cnnvis.utils.image_normalization(image, ubound=255.0, epsilon=1e-07)

执行最小-最大图像归一化。将像素强度值转换到 [0, ubound] 范围内。

参数

• image (3D NumPy 数组) – 需要归一化的 NumPy 数组。
• ubound (浮点数 (默认 = 255.0)) – 图像像素值的上限。

返回值

• norm_image (3D NumPy 数组) – 归一化后的图像。

tf_cnnvis.utils.convert_into_grid(Xs, padding=1, ubound=255.0)

将 4D NumPy 数组转换为可用于显示的图像网格。

参数

• Xs (4D NumPy 数组 (第一轴包含图像)) – 需要放置到网格上的 4D 图像数组。
• padding (整数 (默认 = 1)) – 网格单元之间的间距。
• ubound (浮点数 (默认 = 255.0)) – 图像像素值的上限。

返回值

• (3D NumPy 数组) – 输入图像组成的网格。

tf_cnnvis 快速上手指南

tf_cnnvis 是一个基于 TensorFlow 的卷积神经网络（CNN）可视化库，旨在帮助开发者深入理解 CNN 的内部工作机制。它支持两种核心可视化技术：基于 Zeiler & Fergus 论文的特征重构（反卷积网络）和基于 Google DeepDream 的激活最大化生成。生成的图像可直接在 TensorBoard 中查看。

环境准备

在开始之前，请确保您的系统满足以下要求：

• Python 版本：建议 Python 3.x
• TensorFlow：版本 >= 1.8
• 其他依赖库：numpy, scipy, h5py, wget, Pillow, six, scikit-image

安装依赖

您可以使用 pip 一键安装所有必要的依赖包。国内用户推荐使用清华或阿里镜像源以加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow numpy scipy h5py wget Pillow six scikit-image

安装步骤

1. 克隆仓库 从 GitHub 获取源代码：

   git clone https://github.com/InFoCusp/tf_cnnvis.git
   cd tf_cnnvis
   

2. 执行安装脚本 运行 setup 脚本完成库的安装：

   sudo pip install setuptools
   sudo pip install six
   sudo python setup.py install
   sudo python setup.py clean
   

基本使用

tf_cnnvis 提供了三个主要的可视化函数，分别对应不同的可视化策略。以下是基于 Python 的最简使用示例。

1. 激活可视化 (Activation Visualization)

用于生成输入图像在指定层的激活图，帮助理解网络关注的位置。

import tf_cnnvis

# 参数说明:
# graph_or_path: TensorFlow 图对象或保存的图路径
# value_feed_dict: 占位符的输入值字典，例如 {input_placeholder: image_data}
# layers: 'r' (所有 ReLU 层), 'p' (所有池化层), 'c' (所有卷积层) 或特定层名列表

success = tf_cnnvis.activation_visualization(
    graph_or_path="path_to_your_graph.pb", 
    value_feed_dict={input_placeholder: your_image_array}, 
    layers='r', 
    path_logdir='./Log', 
    path_outdir='./Output'
)

if success:
    print("激活可视化生成成功")

2. 反卷积可视化 (Deconv Visualization)

基于反卷积网络，尝试从特定层的特征图中重构输入图像，展示该层提取的特征模式。

import tf_cnnvis

success = tf_cnnvis.deconv_visualization(
    graph_or_path="path_to_your_graph.pb", 
    value_feed_dict={input_placeholder: your_image_array}, 
    layers='p',  # 例如从池化层重构
    path_logdir='./Log', 
    path_outdir='./Output'
)

if success:
    print("反卷积可视化生成成功")

3. DeepDream 可视化

生成能够最大化特定神经元激活的输入图像，常用于观察网络学到的抽象概念（如“意大利面”、“鸟”等）。

import tf_cnnvis

# classes: 需要最大化的类别对应的特征图索引列表
success = tf_cnnvis.deepdream_visualization(
    graph_or_path="path_to_your_graph.pb", 
    value_feed_dict={input_placeholder: your_image_array}, 
    layer="mixed4c",  # 目标层名称
    classes=[100],    # 目标类别索引
    path_logdir='./Log', 
    path_outdir='./Output'
)

if success:
    print("DeepDream 可视化生成成功")

查看结果

所有生成的图像日志默认保存在 ./Log 目录。启动 TensorBoard 即可在浏览器中查看可视化结果：

tensorboard --logdir=./Log

启动后，在浏览器打开提示的地址，点击顶部的 Images 标签页即可查看生成的可视化图像。