vqa.pytorch
vqa.pytorch 是一个基于 PyTorch 框架开发的开源项目，专注于解决“视觉问答”（VQA）这一前沿人工智能任务。简单来说，它能让计算机像人一样“看懂”图片并回答相关问题：输入一张图片和一个自然语言问题（例如“图里有几只猫？”），模型便能输出简短准确的文字答案。
该项目旨在降低复现顶尖研究成果的门槛，并为社区提供一个高效、模块化的代码库，以推动多模态数据集上的进一步研究。其核心亮点在于实现了名为 MUTAN（多模态 Tucker 融合）的先进算法，该方法在 VQA 1.0 数据集上曾达到业界领先的性能水平。代码架构灵活，支持替换不同的图像编码器（如 ResNet）、问题处理模型（如 LSTM）以及多种融合策略，方便研究者进行定制化实验。
vqa.pytorch 主要面向 AI 研究人员、深度学习开发者以及相关领域的学生。如果你希望深入探索计算机视觉与自然语言处理的交叉领域，或者需要在一个成熟的基准上训练和评估自己的多模态模型，这个项目将提供从特征提取、模型训练到结果评估的全流程支持，是进入该研究领域的理想起点。
使用场景
某计算机视觉实验室的研究团队正致力于开发一款能辅助视障人士理解周围环境的智能应用，需要训练模型准确回答关于图像内容的自然语言提问。
没有 vqa.pytorch 时
- 研究人员需从零搭建多模态融合架构，复现论文中先进的 MUTAN 模型耗时数月且极易出错。
- 缺乏统一的模块化代码库，处理 VQA 1.0/2.0 及 VisualGenome 等不同数据集的格式转换工作繁琐重复。
- 难以高效提取和整合 ResNet-152 等预训练图像特征与 LSTM 问题特征，实验迭代周期漫长。
- 缺少成熟的训练监控与评估脚本，调试模型收敛情况和对比基准结果十分困难。
使用 vqa.pytorch 后
- 直接调用内置的 MUTAN 状态最优模型架构，几天内即可完成基线复现并在此基础上进行改进。
- 利用其高度模块化的设计，轻松切换并支持多种主流数据集，大幅减少了数据预处理的人力成本。
- 一键执行脚本即可从 COCO 或 VisualGenome 中提取高质量特征，显著加速了端到端的模型训练流程。
- 依托完善的文档和监控工具，实时追踪训练指标，快速定位问题并优化模型性能。
vqa.pytorch 通过提供高效、可复现的科研级代码底座，将原本数月的算法验证周期缩短至数周，极大推动了多模态问答技术的落地应用。
运行环境要求
- Linux
- macOS
需要 NVIDIA GPU (通过 conda 安装 pytorch torchvision cuda80)，显存需求未说明，CUDA 8.0+
未说明
快速开始
PyTorch 中的视觉问答
/!\ VQA 的新版本 PyTorch 代码在此： https://github.com/Cadene/block.bootstrap.pytorch
本仓库由 Remi Cadene（LIP6）和 Hedi Ben-Younes（LIP6-Heuritech）两位在 UPMC-LIP6 从事 VQA 研究的博士生，以及他们的导师 Matthieu Cord（LIP6）和 Nicolas Thome（LIP6-CNAM）共同开发。我们是在一篇名为 MUTAN: Multimodal Tucker Fusion for VQA 的研究论文框架下开发了这段代码，该论文目前（据我们所知）是 VQA 1.0 数据集 上的最新最先进方法。
本仓库的目标有两个：
- 方便他人复现我们的实验结果；
- 为社区提供一个高效且模块化的代码库，以支持在其他 VQA 数据集上的进一步研究。
如果您对我们的代码或模型有任何疑问，请随时与我们联系或提交问题。欢迎提出 Pull 请求！
最新动态：
- 2018年1月16日：预训练的 vqa2 模型及在线演示
- 2017年7月18日：新增 VQA2、VisualGenome 和 FBResnet152（适用于 PyTorch）v2.0 提交信息
- 2017年7月16日：论文被 ICCV2017 接受
- 2017年5月30日：海报被 CVPR2017（VQA Workshop）接受
目录：
简介
任务是什么？
该任务是在一个多模态数据集上进行端到端的模型训练，数据集由三元组组成：
- 一张仅包含原始像素信息的 图像，
- 一张关于该图像中视觉内容的 问题，
- 一个简短的 答案（一两个词）。
如下图所示，展示了 VQA 数据集中两个不同的三元组（但使用同一张图像）。模型需要学习丰富的多模态表示，才能给出正确的答案。
VQA 任务目前仍在积极研究中。然而，一旦这一任务得以解决，它将极大地改善人机交互界面，尤其是对视障人士而言。
我们方法的简要介绍
VQA 社区已经发展出一种基于四个可学习组件的方法：
- 问题模型，可以是 LSTM、GRU 或预训练的 Skipthoughts；
- 图像模型，可以是预训练的 VGG16 或 ResNet-152；
- 融合方案，可以是逐元素相加、拼接、MCB、MLB 或 Mutan；
- 可选的注意力机制，可能包含多个“视野”。
我们认为，图像和问题表示之间的多模态融合是关键组件之一。因此，我们提出的模型利用相关性张量的 Tucker 分解来建模更丰富的多模态交互，从而生成准确的答案。我们最好的模型基于以下配置：
- 预训练的 Skipthoughts 作为问题模型；
- 使用预训练 ResNet-152 提取特征（输入图像尺寸为 3x448x448）作为图像模型；
- 我们的 Mutan 融合方案（基于 Tucker 分解）；
- 带有两个“视野”的注意力机制。
安装
依赖项
首先安装 Python 3（我们不支持 Python 2）。建议您使用 Anaconda 安装 Python 3 和 PyTorch：
conda create --name vqa python=3
source activate vqa
conda install pytorch torchvision cuda80 -c soumith
然后克隆本仓库（使用 --recursive 标志以获取子模块），并安装其他依赖项：
cd $HOME
git clone --recursive https://github.com/Cadene/vqa.pytorch.git
cd vqa.pytorch
pip install -r requirements.txt
子模块
我们的代码有两个外部依赖：
- VQA 用于在验证集上使用 OpendEnded 准确率评估结果文件；
- skip-thoughts.torch 用于导入预训练的 GRU 和嵌入；
- pretrained-models.pytorch 用于加载预训练的卷积神经网络。
数据
数据将在需要时自动下载并预处理。数据链接存储在 vqa/datasets/vqa.py、vqa/datasets/coco.py 和 vqa/datasets/vgenome.py 文件中。
复现 VQA 1.0 上的结果
特征
最初我们在 Lua/Torch7 上进行开发时，使用了 Torch7 预训练的 ResNet-152 的特征。在 v2.0 版本中，我们将用 Torch7 训练的预训练 ResNet152 模型移植到了 PyTorch。我们很快会提供所有提取的特征。与此同时，您可以按照以下方式下载 COCO 数据集的特征：
mkdir -p data/coco/extract/arch,fbresnet152torch
cd data/coco/extract/arch,fbresnet152torch
wget https://data.lip6.fr/coco/trainset.hdf5
wget https://data.lip6.fr/coco/trainset.txt
wget https://data.lip6.fr/coco/valset.hdf5
wget https://data.lip6.fr/coco/valset.txt
wget https://data.lip6.fr/coco/testset.hdf5
wget https://data.lip6.fr/coco/testset.txt
/!\ 目前有 3 种版本的 ResNet152：
- fbresnet152torch 是 Torch7 模型；
- fbresnet152 是 Torch7 模型在 PyTorch 中的移植版本；
- resnet152 是 torchvision 中的预训练模型（我们使用该模型得到的结果较低）。
预训练 VQA 模型
目前我们提供了三个使用旧的 Torch7 代码训练并移植到 PyTorch 的模型：
- MutanNoAtt：在 VQA 1.0 训练集上训练；
- MLBAtt：在 VQA 1.0 训练验证集和 VisualGenome 数据集上训练；
- MutanAtt：在 VQA 1.0 训练验证集和 VisualGenome 数据集上训练。
mkdir -p logs/vqa
cd logs/vqa
wget http://webia.lip6.fr/~cadene/Downloads/vqa.pytorch/logs/vqa/mutan_noatt_train.zip
wget http://webia.lip6.fr/~cadene/Downloads/vqa.pytorch/logs/vqa/mlb_att_trainval.zip
wget http://webia.lip6.fr/~cadene/Downloads/vqa.pytorch/logs/vqa/mutan_att_trainval.zip
尽管我们提供了与预训练模型相关的结果文件，您仍然可以使用一条命令在验证集、测试集和测试开发集上再次评估这些模型：
python train.py -e --path_opt options/vqa/mutan_noatt_train.yaml --resume ckpt
python train.py -e --path_opt options/vqa/mlb_noatt_trainval.yaml --resume ckpt
python train.py -e --path_opt options/vqa/mutan_att_trainval.yaml --resume ckpt
要获得 VQA 1.0 的测试和测试开发集结果，您需要将结果 JSON 文件打包成 results.zip，并提交到 评估服务器。
在 VQA 2.0 上复现结果
特征 2.0
您必须下载 COCO 数据集（如果需要，还要下载 Visual Genome 数据集），然后使用卷积神经网络提取特征。
预训练 VQA 模型 2.0
目前我们提供了三个使用当前 PyTorch 代码在 VQA 2.0 上训练的模型：
- MutanAtt：使用 fbresnet152 特征在训练集上训练；
- MutanAtt：使用 fbresnet152 特征在训练验证集上训练。
cd $VQAPYTORCH
mkdir -p logs/vqa2
cd logs/vqa2
wget http://data.lip6.fr/cadene/vqa.pytorch/vqa2/mutan_att_train.zip
wget http://data.lip6.fr/cadene/vqa.pytorch/vqa2/mutan_att_trainval.zip
文档
架构
.
├── options # 默认选项目录，包含 YAML 文件
├── logs # 实验目录，每个实验对应一个日志目录
├── data # 数据集目录
| ├── coco # 图像和特征
| ├── vqa # 原始、中间和处理后的数据
| ├── vgenome # 原始、中间、处理后的数据 + 图像和特征
| └── ...
├── vqa # VQA 包目录
| ├── datasets # 数据集类和函数目录（VQA、COCO、Visual Genome、图像、特征等）
| ├── external # 子模块目录（VQA、skip-thoughts.torch、pretrained-models.pytorch）
| ├── lib # 杂项类和函数目录（引擎、日志记录器、数据加载器等）
| └── models # 模型类和函数目录（注意力、融合、无注意力、序列到向量、卷积网络等）
|
├── train.py # 模型训练和评估
├── eval_res.py # 使用 OpenEnded 指标评估结果文件
├── extract.py # 使用 CNN 从 COCO 提取特征
└── visu.py # 可视化日志并监控训练过程
选项
有三种类型的选项：
options目录中存储的 YAML 选项文件中的默认选项（路径、日志、模型、特征等）；train.py文件中 ArgumentParser 设置为 None 的选项，可覆盖默认选项（学习率、批量大小等）；train.py文件中 ArgumentParser 设置为默认值的选项（打印频率、线程数、恢复模型、评估模型等）。
如有需要，您可以轻松地在自定义 YAML 文件中添加新选项。此外，如果您想对某个参数进行网格搜索，可以添加一个 ArgumentParser 选项，并修改 train.py:L80 中的字典。
数据集
目前我们提供了四个数据集：
- COCOImages 目前用于提取特征，包含三个数据集：训练集、验证集和测试集；
- VisualGenomeImages 目前用于提取特征，仅有一个划分：训练集；
- VQA 1.0 包含四个数据集：训练集、验证集、测试集（包括标准测试和开发测试）以及“训练验证集”（训练集和验证集的合并）；
- VQA 2.0 与之类似，但规模是其两倍（不过图像与 VQA 1.0 相同）；
我们计划增加：
模型
目前我们提供了四个模型：
- MLBNoAtt：一个强大的基线模型（BayesianGRU + 元素级乘法）；
- MLBAtt：之前的最先进模型，增加了注意力机制；
- MutanNoAtt：我们的概念验证模型（BayesianGRU + Mutan 融合）；
- MutanAtt：当前最先进的模型；
我们计划在未来添加更多策略。
快速示例
从 COCO 提取特征
所需的图像将自动下载到 dir_data 目录，特征将默认使用 ResNet152 提取。
mode 有三种选项：
att：特征尺寸为 2048x14x14；noatt：特征尺寸为 2048；both：默认选项。
请注意，您的 SSD 需要足够的空间：
- 图像占用 32GB；
- 训练集特征占用 125GB；
- 测试集特征占用 123GB；
- 验证集特征占用 61GB。
python extract.py -h
python extract.py --dir_data data/coco --data_split train
python extract.py --dir_data data/coco --data_split val
python extract.py --dir_data data/coco --data_split test
注意：默认情况下，我们的代码会在所有可用的 GPU 上共享计算。如果您只想选择一个或几个 GPU，请使用以下前缀：
CUDA_VISIBLE_DEVICES=0 python extract.py
CUDA_VISIBLE_DEVICES=1,2 python extract.py
从 VisualGenome 提取特征
同样，但只有训练集可用：
python extract.py --dataset vgenome --dir_data data/vgenome --data_split train
在 VQA 1.0 上训练模型
显示帮助信息、所选选项并运行默认设置。所需数据将根据 options/vqa/default.yaml 中的选项自动下载并处理。
python train.py -h
python train.py --help_opt
python train.py
使用默认选项运行 MutanNoAtt 模型。
python train.py --path_opt options/vqa/mutan_noatt_train.yaml --dir_logs logs/vqa/mutan_noatt_train
在训练集上运行 MutanAtt 模型，并在每个 epoch 结束后在验证集上进行评估。
python train.py --vqa_trainsplit train --path_opt options/vqa/mutan_att_trainval.yaml
在训练集和验证集（默认）上运行 MutanAtt 模型，并在每个 epoch 结束后对测试集进行推理（生成可提交到评估服务器的结果文件）。
python train.py --vqa_trainsplit trainval --path_opt options/vqa/mutan_att_trainval.yaml
在 VQA 2.0 上训练模型
参阅 vqa2/mutan_att_trainval 的选项：
python train.py --path_opt options/vqa2/mutan_att_trainval.yaml
在 VQA（1.0 或 2.0）+ VisualGenome 上训练模型
参阅 vqa2/mutan_att_trainval_vg 的选项：
python train.py --path_opt options/vqa2/mutan_att_trainval_vg.yaml
监控训练过程
使用 plotly 创建实验可视化图，以监控训练过程，效果如图所示（点击图片即可访问 HTML/JS 文件）：
请注意，需等待首次开放性问题准确率计算完成，HTML 文件才会生成并在默认浏览器中打开。该页面每 60 秒会自动刷新，但您仍需手动按 F5 刷新浏览器才能看到更新。
python visu.py --dir_logs logs/vqa/mutan_noatt
创建多个实验的可视化图，以便比较或监控它们，效果如图所示（点击图片即可访问 HTML/JS 文件）：
python visu.py --dir_logs logs/vqa/mutan_noatt,logs/vqa/mutan_att
继续训练
从最后一个检查点恢复模型训练。
python train.py --path_opt options/vqa/mutan_noatt.yaml --dir_logs logs/vqa/mutan_noatt --resume ckpt
从最佳检查点恢复模型训练。
python train.py --path_opt options/vqa/mutan_noatt.yaml --dir_logs logs/vqa/mutan_noatt --resume best
在 VQA 上评估模型
从最佳检查点评估模型。如果您的模型仅在训练集上训练过（vqa_trainsplit=train），则会在验证集上评估，并继续对测试集进行推理；若是在训练集和验证集上都训练过（vqa_trainsplit=trainval），则不会在验证集上再次评估。
python train.py --vqa_trainsplit train --path_opt options/vqa/mutan_att.yaml --dir_logs logs/vqa/mutan_att --resume best -e
Web 演示
您需要在 demo_server.py 第 169 行设置本地 IP 地址和端口，在 demo_web/js/custom.js 第 51 行设置全局 IP 地址和端口。全局 IP 地址对应的端口必须重定向到您的本地 IP 地址。
启动您的 API：
CUDA_VISIBLE_DEVICES=0 python demo_server.py
在浏览器中打开 demo_web/index.html 即可通过人机界面访问该 API。
引用
如果您在工作中使用了 Mutan，请引用以下 arXiv 论文：
@article{benyounescadene2017mutan,
author = {Hedi Ben-Younes and
R{\'{e}}mi Cad{\`{e}}ne and
Nicolas Thome and
Matthieu Cord},
title = {MUTAN: Multimodal Tucker Fusion for Visual Question Answering},
journal = {ICCV},
year = {2017},
url = {http://arxiv.org/abs/1705.06676}
}
致谢
特别感谢 MLB 的作者提供了部分 Torch7 代码，感谢 MCB 的作者提供了部分 Caffe 代码，同时也感谢 LIP6 的各位老师和朋友营造了良好的工作氛围。
版本历史
v2.02017/07/18常见问题
相似工具推荐
stable-diffusion-webui
stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。 无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。
everything-claude-code
everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。 通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。 这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上
ComfyUI
ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。 这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。 无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。
NextChat
NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。 这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。 NextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。