SENet-TensorFlow

基于 CIFAR10 的 挤压激励网络 的简单 TensorFlow 实现

我实现了以下 SENet：

• ResNeXt 论文
• Inception-v4、Inception-ResNet-v2 论文

如果你想查看 原作者的代码，请参考此 链接。

需求

• TensorFlow 1.x
• Python 3.x
• tflearn（如果你习惯使用 全局平均池化，则需要安装 tflearn）

问题

图像尺寸

• 论文中是在 ImageNet 数据集上进行实验的。
• 然而，由于 Inception 网络 中的 图像尺寸 问题，因此我对 CIFAR10 使用了 零填充：

input_x = tf.pad(input_x, [[0, 0], [32, 32], [32, 32], [0, 0]]) # 尺寸从 32x32 变为 96x96

GPU 显存不足

• 如果 GPU 显存不足，请修改代码：

with tf.Session() as sess : 不行
with tf.Session(config=tf.ConfigProto(allow_soft_placement=True)) as sess : 可行

思路

什么是“SE 块”？

def Squeeze_excitation_layer(self, input_x, out_dim, ratio, layer_name):
    with tf.name_scope(layer_name) :
        squeeze = Global_Average_Pooling(input_x)

        excitation = Fully_connected(squeeze, units=out_dim / ratio, layer_name=layer_name+'_fully_connected1')
        excitation = Relu(excitation)
        excitation = Fully_connected(excitation, units=out_dim, layer_name=layer_name+'_fully_connected2')
        excitation = Sigmoid(excitation)

        excitation = tf.reshape(excitation, [-1,1,1,out_dim])

        scale = input_x * excitation

        return scale

如何应用？（Inception、残差网络）

“压缩比”应该设置为多少？

• 原始 指的是 ResNet-50

ImageNet 结果

对网络深度的优势

与现代架构的结合

与最先进方法的比较

CIFAR10 结果

即将发布

相关工作

• DenseNet-TensorFlow
• ResNeXt-TensorFlow
• ResNet-TensorFlow

参考文献

• Inception_韩语

作者

Junho Kim

SENet-Tensorflow 快速上手指南

SENet (Squeeze-and-Excitation Networks) 是一种通过显式建模通道间依赖关系来提升网络性能的结构。本项目基于 TensorFlow 实现了 SENet，并适配了 Cifar10 数据集，支持 ResNeXt 和 Inception 架构。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: Python 3.x
• 深度学习框架: TensorFlow 1.x
• 辅助库: tflearn (用于简化全局平均池层操作，建议安装)

安装步骤

1. 克隆项目代码

   git clone https://github.com/taki0112/SENet-Tensorflow.git
   cd SENet-Tensorflow
   

2. 安装依赖包 建议使用国内镜像源（如清华源）加速安装过程：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.x tflearn
   

   注：请将 tensorflow==1.x 替换为您环境中具体的 TensorFlow 1.x 版本号（例如 tensorflow==1.15.0）。

基本使用

本项目针对 Cifar10 数据集进行了适配。由于原始 Inception 网络针对 ImageNet 设计，处理小尺寸图像时存在兼容性问题，代码中已自动包含零填充（Zero Padding）逻辑将 32x32 图像扩展至 96x96，无需手动修改输入数据。

核心模块调用示例

SE Block 的核心实现如下，您可以直接在您的模型构建函数中调用 Squeeze_excitation_layer：

def Squeeze_excitation_layer(self, input_x, out_dim, ratio, layer_name):
    with tf.name_scope(layer_name) :
        # 1. Squeeze: 全局平均池化
        squeeze = Global_Average_Pooling(input_x)

        # 2. Excitation: 两个全连接层构成瓶颈结构
        excitation = Fully_connected(squeeze, units=out_dim / ratio, layer_name=layer_name+'_fully_connected1')
        excitation = Relu(excitation)
        excitation = Fully_connected(excitation, units=out_dim, layer_name=layer_name+'_fully_connected2')
        excitation = Sigmoid(excitation)

        # 3. Scale: 重塑维度并与原特征图相乘
        excitation = tf.reshape(excitation, [-1,1,1,out_dim])
        scale = input_x * excitation

        return scale

运行训练

在项目根目录下直接运行主脚本即可开始训练（默认配置针对 Cifar10）：

python main.py

显存优化提示

如果您的 GPU 显存不足，请在代码中找到会话创建部分，将：

with tf.Session() as sess :

修改为允许软放置的配置以优化显存使用：

with tf.Session(config=tf.ConfigProto(allow_soft_placement=True)) as sess :

架构集成参考

• Inception 系列: 参考 figures/SE-Inception-module.jpg 将 SE Block 插入 Inception 模块末端。
• ResNet/ResNeXt 系列: 参考 figures/SE-ResNet-module.jpg 将 SE Block 插入残差块的最后一个卷积层之后、加法操作之前。
• 压缩比 (Reduction Ratio): 默认参考 ResNet-50 的设置，通常设置为 16。