自下而上与自上而下的注意力机制用于视觉问答

这是 2017年视觉问答挑战赛 冠军方案的高效 PyTorch 实现。

该实现遵循论文《用于图像字幕和视觉问答的自下而上与自上而下的注意力机制》（https://arxiv.org/abs/1707.07998）以及《视觉问答技巧与窍门：2017年挑战赛的经验总结》（https://arxiv.org/abs/1708.02711）中描述的视觉问答系统。

结果

模型	验证集准确率	训练时间
报告的模型	63.15	12–18小时（Tesla K40）
实现的模型	63.58	40–50分钟（Titan Xp）

准确率是使用 VQA 评估指标 计算得出的。

关于

这是卡内基梅隆大学 11-777 课程“高级多模态机器学习”项目的一部分，由胡恒远、Alex Xiao 和 Henry Huang 共同完成。

作为项目的一部分，我们实现了自下而上的注意力机制，将其作为强大的 VQA 基线。我们原本计划将目标检测与 VQA 结合，非常高兴地看到 Peter Anderson 和 Damien Teney 等人已经出色地完成了这一工作。我们希望这个简洁高效的实现能够为未来的 VQA 研究提供有用的基准。

实现细节

我们的实现沿用了论文的整体架构，但进行了以下简化：

1. 我们未使用来自 Visual Genome 的额外数据。
2. 我们每张图像仅使用固定数量的对象（K=36）。
3. 我们采用简单的单流分类器，未进行预训练。
4. 我们使用简单的 ReLU 激活函数，而非门控双曲正切激活。

前两点显著缩短了训练时间。我们的实现每轮训练大约需要 200 秒，而在单块 Titan Xp 上运行；而论文中描述的实现则需要每轮 1 小时。

第三点的原因在于我们认为原论文中的双流分类器和预训练过于复杂，并非必要。

对于非线性激活单元，我们尝试过门控双曲正切，但未能成功。我们也尝试了门控线性单元（GLU），其效果确实优于 ReLU。最终我们选择了 ReLU，因为它更为简单，且使用 GLU 所带来的性能提升不足以弥补参数量翻倍的代价。

基于这些简化，我们预期性能会有所下降。作为参考，论文中报告的验证集最佳结果为 63.15。若不使用 Visual Genome 的额外数据，该结果为 62.48；仅使用每张图像 36 个对象时为 62.82；使用双流分类器但未预训练时为 62.28；而仅使用 ReLU 时则为 61.63。这些数据均摘自论文《视觉问答技巧与窍门：2017年挑战赛的经验总结》中的表 1。综合以上所有简化后，我们的首次实现版本在验证集上的得分约为 59–60。

为了缩小差距，我们添加了一些简单却有效的改进措施，包括：

1. 添加 Dropout 以缓解过拟合；
2. 将神经元数量增加一倍；
3. 添加权重归一化（批量归一化在此处效果不佳）；
4. 切换至 Adamax 优化器；
5. 梯度裁剪。

这些小改动使得分回升至约 62.80。随后，我们将原论文中的基于拼接的注意力模块替换为基于投影的模块。这一新的注意力模块受到论文《利用组合式模块网络建模指代表达中的关系》（https://arxiv.org/pdf/1611.09978.pdf）的启发，但经过了一些修改（实现于 attention.NewAttention）。借助这一新注意力模块，我们的性能进一步提升至约 63.58，超越了未使用额外数据且计算成本更低的最佳报告结果。

使用方法

前置条件

请确保您使用的机器配备 NVIDIA GPU，并安装了 Python 2，同时拥有约 70 GB 的磁盘空间。

1. 安装支持 CUDA 和 Python 2.7 的 PyTorch v0.3。
2. 安装 h5py。

数据准备

所有数据应下载至本仓库根目录下的 data/ 目录中。

最简便的数据下载方式是从仓库根目录运行提供的脚本 tools/download.sh。特征数据由原作者的 仓库 提供并下载而来。如果该脚本无法正常运行，您可以检查脚本内容，并根据自身需求调整其中的步骤。之后，从仓库根目录运行 tools/process.sh 脚本来将数据处理成正确的格式。

训练

只需运行 python main.py 即可开始训练。每轮训练结束后会打印出训练和验证分数，最佳模型将保存在 saved_models 目录下。默认参数设置应能获得上表所示的结果。

bottom-up-attention-vqa 快速上手指南

本项目是 2017 VQA 挑战赛冠军方案的高效 PyTorch 实现，专注于“自底向上”和“自顶向下”的注意力机制，用于视觉问答（VQA）任务。

环境准备

在开始之前，请确保您的机器满足以下要求：

• 操作系统：Linux (推荐)
• GPU：NVIDIA GPU (需支持 CUDA)
• 磁盘空间：约 70 GB (用于存放数据集和特征文件)
• Python 版本：Python 2.7 (注意：该项目基于较旧的 PyTorch v0.3，必须使用 Python 2)
• 核心依赖：
  • PyTorch v0.3 (带 CUDA 支持)
  • h5py

提示：由于项目依赖较旧版本的 PyTorch 和 Python 2，建议在独立的虚拟环境（如 virtualenv 或 conda）中运行，以免冲突。国内用户可使用清华源或阿里源加速 pip 包安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/hengyuan-hu/bottom-up-attention-vqa.git
   cd bottom-up-attention-vqa
   

2. 安装依赖 首先安装 PyTorch v0.3 (请参考 PyTorch 官网历史版本安装命令)，然后安装其他依赖：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple h5py
   # 确保已安装兼容的 PyTorch v0.3
   

3. 下载并处理数据 所有数据将下载到项目根目录下的 data/ 文件夹。运行提供的脚本自动下载由原作者提取的特征文件：

   bash tools/download.sh
   

   如果下载脚本失败，可手动查看脚本内容修改下载链接，或使用代理加速。

   下载完成后，运行处理脚本将数据转换为正确格式：

   bash tools/process.sh
   

基本使用

完成数据准备后，即可开始训练模型。默认配置已优化，可直接复现论文中的高分结果（验证集准确率约 63.58%）。

启动训练：

python main.py

说明：

• 训练过程中，每个 epoch 结束后会自动打印训练集和验证集的得分。
• 表现最佳的模型会自动保存在 saved_models 目录下。
• 在单张 Titan Xp GPU 上，每个 epoch 耗时约 200 秒。