#NeuralTalk

警告：已弃用。 您好，这段代码现在已经相当老旧且效率低下，因此已被弃用。我将其保留在 GitHub 上仅供教学使用，但如果您希望运行或训练图像字幕生成模型，我强烈推荐我的新版本代码 NeuralTalk2。NeuralTalk2 使用 Torch 编写，并且由于采用了批处理和 GPU 加速，速度大幅提升（大约快 100 倍以上）。它还支持 CNN 微调，这在提升性能方面非常有帮助。

本项目包含用于学习多模态循环神经网络的 Python + numpy 源代码，该网络能够用句子描述图像。

这一研究方向最近被《纽约时报》的一篇文章报道过链接，并且在过去几个月里，研究界也发表了多篇相关论文。目前，该代码实现了由 Google 的 Vinyals 等人提出的 [CNN + LSTM] 模型（arXiv 链接）以及由斯坦福大学的 Karpathy 和 Fei-Fei 提出的 [CNN + RNN] 模型（斯坦福大学页面）。这两种模型都以一张图像作为输入，利用循环神经网络（LSTM 或 RNN）预测其对应的句子描述。

概述

项目的流程如下：

• 输入是一组图像及其对应的 5 条句子描述，这些数据是通过 Amazon Mechanical Turk 收集的。具体来说，本代码库适用于 Flickr8K、Flickr30K 和 MSCOCO 数据集。
• 在训练阶段，图像被输入到 RNN 中，RNN 根据当前词及由神经网络隐藏层传递的上下文信息来预测句子中的单词。在此阶段，网络参数通过反向传播进行优化。
• 在预测阶段，将一组未见过的图像输入 RNN，RNN 会逐词生成句子描述。预测结果会使用 BLEU 分数 进行评估。此外，代码还包含用于以 HTML 格式可视化结果的工具。

依赖项

Python 2.7、较新的 numpy/scipy 版本、perl（如果需要计算 BLEU 分数）、argparse 模块。大多数依赖项都可以通过 pip 安装。要一次性安装所有依赖项，可以运行命令 pip install -r requirements.txt。

我仅在 Ubuntu 12.04 上测试过此代码，但已尽量使其具有通用性（例如，使用 os 模块进行文件系统操作等），因此在 Windows 和 Mac 上也可能相对容易运行。

小贴士：为了加速矩阵运算，建议将 numpy 链接到 BLAS 实现。我使用 virtualenv 并将 numpy 链接到系统安装的 OpenBLAS。这样做可以使代码运行速度提升一个数量级，因为代码中大量依赖于大型矩阵乘法。

快速入门

1. 获取代码。 使用 $ git clone 克隆仓库，并安装 Python 依赖项。
2. 获取数据。 我并未将数据包含在 Git 仓库中，而是请从这里下载 data/ 文件夹。另外，该下载包不包含原始图像文件，因此如果您想在原始图像上查看标注结果，还需直接从 Flickr8K、Flickr30K 或 COCO 获取图像，并将其放入相应的 data 文件夹中。
3. 训练模型。 运行训练脚本 $ python driver.py（文件中包含许多可选参数设置），然后耐心等待。您会看到训练代码会将检查点保存到 cv/ 目录，并定期在 status/ 目录中记录训练状态。
4. 监控训练过程。 可以手动读取 JSON 文件并打印所需信息来检查状态。实际上，我在集群上进行交叉验证，因此 cv/ 目录中会积累大量检查点，我会用其他脚本来进一步筛选和分析这些检查点。我还附上了我的集群训练状态可视化工具供参考。启动本地 Web 服务器（例如 $ python -m SimpleHTTPServer 8123），然后在浏览器中打开 monitorcv.html，网址为 http://localhost:8123/monitorcv.html，或者根据 Web 服务器提示的路径访问。您需要编辑该文件以正确设置路径，并指向正确的 JSON 文件。
5. 评估模型检查点。 要评估 cv/ 中的某个检查点，运行 evaluate_sentence_predctions.py 脚本，并传入检查点的路径。
6. 可视化预测结果。 使用附带的 HTML 文件 visualize_result_struct.html 来可视化评估代码生成的 JSON 结构。这将显示图像及其预测结果。请注意，您需要从各个数据集的官方网站下载原始图像，并将其放置到相应的 data/ 文件夹中。

最后，请注意，这目前仍是研究代码，因此大部分文档都嵌入在各个 Python 文件中。如果您打算使用此代码，需要熟悉代码结构，并具备阅读 Python 代码的能力。

预训练模型

一些预训练模型可以在 NeuralTalk Model Zoo 中找到。稍微复杂的一点是，如果您想将这些模型应用于任意新图像（非 Flickr8K/30K/COCO 数据集中的图像），则需要先提取 CNN 特征。我使用 Simonyan 和 Zisserman 提出的 16 层 VGG 网络，因为它结构精妙、功能强大，并且可以通过 Caffe 获得。未来有可能将预处理和推理整合到一个简单的函数中，利用 Python 封装器提取特征，然后运行预训练的句子模型。我可能会在后续添加这一功能。

使用模型对新图像进行预测

该代码允许您轻松地对 COCO/Flickr8K/Flick30K 的图像进行预测并可视化结果。如果您想对任意图像（例如您本地文件系统中的图像）进行预测，则会稍微复杂一些，因为我们首先需要将您的图像通过 VGG CNN 处理，以获得顶部的 4096 维激活值。

请查看 example_images 文件夹中的说明，了解如何操作。目前，从每张图像中提取原始特征的代码是用 Matlab 编写的，因此您需要在系统上安装 Matlab。虽然 Caffe 也有 Python 封装器，但我尚未能使用 Python 封装器精确复现 Matlab 所得到的特征。example_images 文件夹将引导您完成整个流程，最终您可以使用 predict_on_images.py 来执行预测。

使用您自己的数据

系统的输入是 data 文件夹，其中包含 Flickr8K、Flickr30K 和 MSCOCO 数据集。具体来说，每个子文件夹（例如 data/flickr8k）都包含一个 dataset.json 文件，用于存储数据集中的图像路径和句子（包括所有图像、句子、原始预处理后的标记、划分以及图像与句子之间的映射关系）。此外，每个文件夹还包含 vgg_feats.mat 文件，这是一个 .mat 格式的文件，使用 ILSVRC 2014 的 VGG 网络从所有图像中提取的 CNN 特征，每行对应一张图像的特征。最后，还有一个 imgs/ 文件夹，存放原始图像。我还提供了用于提取特征的 Matlab 脚本，如果您希望使用不同的数据集，可能会对您有所帮助。该脚本位于 matlab_features_reference/ 文件夹中，更多信息请参阅该文件夹中的 Readme 文件。

许可证

BSD 许可证。

NeuralTalk 快速上手指南

⚠️ 重要提示：本项目已弃用 (Deprecated) 此代码库较为陈旧且效率较低，仅保留用于教育目的。如果您需要运行或训练图像描述（Image Captioning）模型，强烈推荐使用作者的新版本 NeuralTalk2。新版本基于 Torch 框架，支持 GPU 加速和批处理，速度快约 100 倍，并支持 CNN 微调，性能显著提升。

本指南旨在帮助开发者理解原始 NeuralTalk 项目的基本流程，该项目使用 Python + NumPy 实现了多模态循环神经网络（Multimodal RNN），用于生成图像的句子描述。

环境准备

系统要求

• 操作系统：主要在 Ubuntu 12.04 上测试通过，理论上兼容 Windows 和 macOS（需调整文件系统交互）。
• Python 版本：必须使用 Python 2.7（不支持 Python 3）。

前置依赖

• 核心库：numpy, scipy（建议使用现代版本）。
• 工具模块：argparse, perl（若需计算 BLEU 评分）。
• 性能优化（强烈推荐）：将 NumPy 链接到 BLAS 实现（如 OpenBLAS）。由于项目重度依赖大矩阵乘法，配置 BLAS 可使运行速度提升近一个数量级。建议配合 virtualenv 使用。

安装步骤

1. 获取代码

克隆仓库并安装 Python 依赖：

git clone https://github.com/karpathy/neuraltalk.git
cd neuraltalk
pip install -r requirements.txt

(国内用户若 pip 下载缓慢，可添加清华源：pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple)

2. 获取数据

代码库不包含数据集，需手动下载预处理好的数据文件夹。

• 下载地址：http://cs.stanford.edu/people/karpathy/deepimagesent/
• 操作：下载 data/ 文件夹并放入项目根目录。
• 注意：上述下载包不包含原始图片文件。若需可视化结果，请自行从 Flickr8K、Flickr30K 或 MSCOCO 官网下载原始图片，并放入对应的 data/<dataset_name>/imgs/ 目录中。

3. 提取特征（针对自定义图片）

若使用自带数据集，data/ 文件夹中已包含预提取的 vgg_feats.mat 文件。 若需在新图片上运行模型，需先使用 Matlab 和 Caffe (VGG 16-layer 网络) 提取 4096 维特征。参考 example_images 文件夹中的说明及 matlab_features_reference/ 中的 Matlab 脚本。

基本使用

1. 训练模型

运行驱动脚本开始训练。模型检查点将保存在 cv/ 目录，状态日志保存在 status/ 目录。

python driver.py

提示：可在 driver.py 文件中修改参数以调整超参数。

2. 监控训练进度

启动本地 Web 服务器，通过浏览器可视化训练状态（需先编辑 monitorcv.html 以指向正确的 JSON 文件路径）：

python -m SimpleHTTPServer 8123

然后在浏览器访问：http://localhost:8123/monitorcv.html

3. 评估模型

使用保存的检查点（checkpoint）对验证集进行句子预测评估：

python evaluate_sentence_predctions.py --checkpoint cv/checkpoint_file.pkl

(请将 checkpoint_file.pkl 替换为实际生成的检查点文件名)

4. 可视化结果

利用生成的 JSON 结构文件，通过 HTML 查看图像及其预测的句子描述：

• 打开项目自带的 visualize_result_struct.html。
• 确保原始图片已正确放置在 data/ 对应目录下，否则无法显示图像。

5. 对新图片进行预测

若已完成特征提取（见“环境准备”第 3 步），可运行以下脚本对任意图片进行预测：

python predict_on_images.py

具体参数配置请参考 example_images 文件夹内的详细指令。