展示、关注与讲述

更新（2016年12月2日） TensorFlow 实现了 展示、关注与讲述：基于视觉注意力的神经图像字幕生成，该论文提出了一种基于注意力机制的图像字幕生成模型。在生成每个单词时，模型会将注意力动态地转移到图像的相关区域。

参考文献

作者的 Theano 代码：https://github.com/kelvinxu/arctic-captions

另一个 TensorFlow 实现：https://github.com/jazzsaxmafia/show_attend_and_tell.tensorflow

入门指南

前置条件

首先，在同一目录下克隆本仓库和 pycocoevalcap。

$ git clone https://github.com/yunjey/show-attend-and-tell-tensorflow.git
$ git clone https://github.com/tylin/coco-caption.git

此代码使用 Python 2.7 编写，并需要 TensorFlow 1.2。此外，还需要安装一些额外的包来处理 MSCOCO 数据集。我提供了一个脚本用于下载 MSCOCO 图像数据集和 VGGNet19 模型。根据网络速度的不同，下载数据可能需要几个小时。运行以下命令后，图像将被下载到 image/ 目录下，而 VGGNet19 模型则会被下载到 data/ 目录中。

$ cd show-attend-and-tell-tensorflow
$ pip install -r requirements.txt
$ chmod +x ./download.sh
$ ./download.sh

为了将图像输入到 VGGNet 中，需要将 MSCOCO 图像数据集调整为固定的 224x224 尺寸。运行以下命令后，调整后的图像将被存储在 image/train2014_resized/ 和 image/val2014_resized/ 目录中。

$ python resize.py

在训练模型之前，必须对 MSCOCO 字幕数据集进行预处理。要生成字幕数据集和图像特征向量，请运行以下命令。

$ python prepro.py

训练模型

要训练图像字幕生成模型，请运行以下命令。

$ python train.py

（可选）TensorBoard 可视化

我提供了一个 TensorBoard 可视化工具，用于实时调试。打开一个新的终端，运行以下命令，并在浏览器中访问 http://localhost:6005/。

$ tensorboard --logdir='./log' --port=6005 

评估模型

要生成字幕、可视化注意力权重并评估模型，请参阅 evaluate_model.ipynb。

结果

训练数据

(1) 生成的字幕：一架飞机在天空中飞行，起落架已放下。

(2) 生成的字幕：一只长颈鹿和两只斑马站在田野里。

验证数据

(1) 生成的字幕：一头巨大的大象站在一片干枯的草地上。

(2) 生成的字幕：一头小象站在一片泥土地上。

测试数据

(1) 生成的字幕：一架飞机正在飞越一片水域。

(2) 生成的字幕：一只斑马站在一棵树附近的草地上。

Show, Attend and Tell 快速上手指南

本指南基于 TensorFlow 实现，帮助开发者快速部署并运行“显示、关注与讲述”（Show, Attend and Tell）图像描述生成模型。该模型在生成每个单词时，能够自动聚焦于图像的相关区域。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python 版本: Python 2.7 (注意：本项目基于较旧的 Python 版本)
• 深度学习框架: TensorFlow 1.2
• 数据集: MSCOCO 数据集 (需自行下载或通过脚本获取)
• 预训练模型: VGGNet19

安装步骤

1. 克隆代码库

将本项目代码及评估工具 pycocoevalcap 克隆到同一目录下：

$ git clone https://github.com/yunjey/show-attend-and-tell-tensorflow.git
$ git clone https://github.com/tylin/coco-caption.git

2. 安装依赖与下载数据

进入项目目录，安装 Python 依赖包，并执行脚本自动下载 MSCOCO 图像数据集 和 VGGNet19 预训练模型。

提示：下载过程耗时较长，取决于网络状况。国内用户若遇下载缓慢，可尝试配置代理或使用支持断点续传的工具手动下载后放入对应目录。

$ cd show-attend-and-tell-tensorflow
$ pip install -r requirements.txt
$ chmod +x ./download.sh
$ ./download.sh

下载完成后，图像将存储在 image/ 目录，模型文件将存储在 data/ 目录。

3. 数据预处理

模型需要固定尺寸的输入和提取好的特征向量，请按顺序执行以下两步：

第一步：调整图像尺寸 将 MSCOCO 图像调整为 224x224 以适配 VGGNet 输入：

$ python resize.py

处理后的图像将保存在 image/train2014_resized/ 和 image/val2014_resized/。

第二步：生成描述数据集与特征向量 预处理文本描述并提取图像特征：

$ python prepro.py

基本使用

训练模型

完成上述准备工作后，运行以下命令开始训练图像描述生成模型：

$ python train.py

(可选) 可视化训练过程

项目提供了 TensorBoard 支持，用于实时监控训练状态。打开新终端运行：

$ tensorboard --logdir='./log' --port=6005 

然后在浏览器中访问 http://localhost:6005/ 查看可视化图表。

评估与测试

要生成图像描述、可视化注意力权重（Attention Weights）以及评估模型性能，请参考项目根目录下的 Jupyter Notebook 文件：

• 文件路径：evaluate_model.ipynb

在该文件中加载训练好的模型，即可对验证集或测试集图片进行推理，观察模型如何“关注”图像的不同部分并生成对应的文字描述。