空间变换网络 (Spatial Transformer Networks)

这是由 Max Jaderberg, Karen Simonyan, Andrew Zisserman 和 Koray Kavukcuoglu 撰写的 Spatial Transformer Networks 的 Tensorflow 实现，附带两部分博客 教程系列。

空间变换网络 (STN) 是一个可微模块，可以插入到任何 ConvNet (卷积神经网络) 架构中，以增加其几何不变性。它有效地赋予网络在无需额外数据或监督成本的情况下对特征图进行空间变换的能力。

安装

使用以下命令安装 stn 包：

pip3 install stn

然后，你可以按如下方式调用 STN 层：

from stn import spatial_transformer_network as transformer

out = transformer(input_feature_map, theta, out_dims)

参数

• input_feature_map: 定位网络之前层的输出。如果 STN 层是网络的第一层，则对应输入图像。形状应为 (B, H, W, C)。
• theta: 这是定位网络的输出。形状应为 (B, 6)
• out_dims: 期望的输出特征图的 (H, W)。用于上采样或下采样。如果未指定，则输出维度将等于 input_feature_map 的维度。

背景信息

STN 由 3 个元素组成。

• 定位网络：接收特征图作为输入，并输出应应用于该特征图的仿射变换参数。

• 网格生成器： 使用仿射变换的参数生成 (x,y) 坐标网格，这些参数对应于一组点，输入特征图应在这些点处采样以产生变换后的输出特征图。

• 双线性采样器： 接收输入特征图和网格生成器生成的网格作为输入，并使用双线性插值生成输出特征图。

仿射变换通过变换矩阵 A 指定

它可以被约束为一种 注意力 形式，写作如下形式

其中参数 s, t_x 和 t_y 可以进行回归，以允许裁剪、平移和各向同性缩放。

欲了解更多关于 STNs 的深入解释，请阅读这两篇博客文章：part1 和 part2。

探索

运行 合理性检查 (Sanity Check) 来感受空间变换如何嵌入到任何现有代码中。例如，这里是 45 度旋转的结果：

使用说明

在使用此层之前，必须定义一个定位网络。定位网络通常是一个具有 6 个输出节点（仿射变换的 6 个参数）的 ConvNet 或 FC-net (全连接网络)。

在开始训练过程之前，将定位网络初始化为恒等变换是一个好习惯。这里有一段示例代码供参考。

# params
n_fc = 6
B, H, W, C = (2, 200, 200, 3)

# identity transform
initial = np.array([[1., 0, 0], [0, 1., 0]])
initial = initial.astype('float32').flatten()

# input placeholder
x = tf.placeholder(tf.float32, [B, H, W, C])

# localization network
W_fc1 = tf.Variable(tf.zeros([H*W*C, n_fc]), name='W_fc1')
b_fc1 = tf.Variable(initial_value=initial, name='b_fc1')
h_fc1 = tf.matmul(tf.zeros([B, H*W*C]), W_fc1) + b_fc1

# spatial transformer layer
h_trans = transformer(x, h_fc1)

致谢

• Torch 关于 STN 的博客文章
• daviddao 的 Tensorflow 实现
• 感谢 Eder Santana 介绍并帮助我理解这篇论文！

Spatial Transformer Networks (STN) 快速上手指南

Spatial Transformer Networks (STN) 是一个可微分的模块，可插入到 ConvNet 架构中以提高几何不变性。本指南基于 TensorFlow 实现版本。

环境准备

• Python: 3.x 版本
• 深度学习框架: TensorFlow (该工具为 TensorFlow 实现)
• 其他依赖: NumPy (用于参数初始化示例)

安装步骤

建议使用国内镜像源以加快下载速度：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple stn

或使用标准命令：

pip3 install stn

基本使用

核心函数

导入模块并调用 STN 层：

from stn import spatial_transformer_network as transformer

out = transformer(input_feature_map, theta, out_dims)

参数说明

• input_feature_map: 前置层的输出（若 STN 为第一层，则为输入图像）。形状应为 (B, H, W, C)。
• theta: 定位网络（localization network）的输出。形状应为 (B, 6)。
• out_dims: 期望的输出特征图尺寸 (H, W)。若不指定，则输出维度等于输入维度。

注意事项

必须在使用该层之前定义一个定位网络。 该网络通常为具有 6 个输出节点（仿射变换的 6 个参数）的 ConvNet 或 FC-net。建议训练开始前将定位网络初始化为恒等变换（identity transform）。

代码示例

# params
n_fc = 6
B, H, W, C = (2, 200, 200, 3)

# identity transform
initial = np.array([[1., 0, 0], [0, 1., 0]])
initial = initial.astype('float32').flatten()

# input placeholder
x = tf.placeholder(tf.float32, [B, H, W, C])

# localization network
W_fc1 = tf.Variable(tf.zeros([H*W*C, n_fc]), name='W_fc1')
b_fc1 = tf.Variable(initial_value=initial, name='b_fc1')
h_fc1 = tf.matmul(tf.zeros([B, H*W*C]), W_fc1) + b_fc1

# spatial transformer layer
h_trans = transformer(x, h_fc1)