带注意力机制的神经网络图像字幕生成器

• TensorFlow 实现的“Show, attend and Tell”模型 http://arxiv.org/abs/1502.03044
• 大部分思路借鉴了作者的源代码 https://github.com/kelvinxu/arctic-captions

代码

• make_flickr_dataset.py：提取 Flickr30k 数据集中每张图片的 VGG 网络 conv5_3 层特征，并保存到 'data/feats.npy' 文件中。
• model_tensorflow.py：核心代码。

使用方法

• 下载 Flickr30k 数据集。
• 使用 make_flickr_dataset.py 提取 VGG 的 conv5_3 特征。
• 训练：运行 model_tensorflow.py 中的 train() 函数。
• 测试：运行 model_tensorflow.py 中的 test() 函数。

show_attend_and_tell.tensorflow 快速上手指南

本指南基于 TensorFlow 实现了"Show, Attend and Tell"图像描述生成模型（带注意力机制）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux 或 macOS (Windows 需配置相应兼容环境)
• Python: 推荐 Python 3.6+
• 核心框架: TensorFlow (建议版本 1.x，因原代码基于 TF1 编写)
• 前置依赖:
  • numpy
  • Pillow (用于图像处理)
  • scipy
  • VGG16 预训练模型权重文件

提示：国内用户安装依赖时，推荐使用清华或阿里镜像源加速：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pillow scipy tensorflow==1.15.0

安装步骤

1. 克隆项目代码

   git clone https://github.com/jazzsaxmafia/show_attend_and_tell.tensorflow.git
   cd show_attend_and_tell.tensorflow
   

2. 准备数据集 下载 Flickr30k 数据集，并将其解压到项目目录或指定路径。

3. 提取特征 使用提供的脚本提取 VGG 网络的 conv5_3 层特征。此步骤需要 VGG16 权重文件。

   python make_flickr_dataset.py
   

   执行成功后，特征将保存至 data/feats.npy。

基本使用

完成特征提取后，即可进行模型的训练与测试。所有核心逻辑位于 model_tensorflow.py 中。

1. 训练模型

运行以下命令开始训练过程：

# 在 Python 交互环境或脚本中调用
from model_tensorflow import train
train()

2. 测试模型

训练完成后，运行以下命令对图片生成描述：

# 在 Python 交互环境或脚本中调用
from model_tensorflow import test
test()

注意：具体超参数配置及数据路径请在 model_tensorflow.py 文件头部根据实际环境进行调整。