使用思维向量进行文本到图像合成

这是一个基于 TensorFlow 的实验性实现，利用 Skip Thought Vectors 从文本描述中合成图像。生成的图像采用论文 Generative Adversarial Text-to-Image Synthesis 中的 GAN-CLS 算法。该实现建立在优秀的 DCGAN in Tensorflow 基础之上。以下是模型架构图，蓝色条形表示文本描述对应的 Skip Thought Vectors。

图片来源：Generative Adversarial Text-to-Image Synthesis 论文

需求

• Python 2.7.6
• Tensorflow
• h5py
• Theano：用于计算 Skip Thought Vectors
• scikit-learn：用于计算 Skip Thought Vectors
• NLTK：用于计算 Skip Thought Vectors

数据集

• 下载数据集和模型的所有步骤可以通过运行 python download_datasets.py 自动完成。这将下载并解压数 GB 的文件。
• 模型目前是在 flowers 数据集 上训练的。请从 此链接 下载图片，并将其保存到 Data/flowers/jpg 目录下。同时，请从 此链接 下载文本描述文件，解压后将 text_c10 文件夹复制到 Data/flowers 目录中。
• 按照 此处 的说明下载预训练的 Skip Thought Vectors 模型和词汇表，并将下载的文件保存到 Data/skipthoughts 目录中。
• 在 Data 目录下创建空的子目录 Data/samples、Data/val_samples 和 Data/Models，分别用于采样生成的图像和保存训练好的模型。

使用方法

• 数据处理：使用以下命令提取 flowers 数据集的 Skip Thought Vectors：

  python data_loader.py --data_set="flowers"
  

• 训练

  • 基本用法：python train.py --data_set="flowers"
  • 可选参数：
    • z_dim：噪声维度，默认为 100。
    • t_dim：文本特征维度，默认为 256。
    • batch_size：批量大小，默认为 64。
    • image_size：图像尺寸，默认为 64。
    • gf_dim：生成器第一层卷积核数量，默认为 64。
    • df_dim：判别器第一层卷积核数量，默认为 64。
    • gfc_dim：全连接层生成单元的维度，默认为 1024。
    • caption_vector_length：文本向量长度，默认为 1024。
    • data_dir：数据目录，默认为 Data/。
    • learning_rate：学习率，默认为 0.0002。
    • beta1：Adam 优化器的动量，默认为 0.5。
    • epochs：最大训练轮数，默认为 600。
    • resume_model：从预训练模型路径继续训练。
    • data_set：要训练的数据集，默认为 flowers。

• 根据文本描述生成图像

  • 将文本描述写入文本文件，并保存为 Data/sample_captions.txt。然后使用以下命令为这些描述生成 Skip Thought Vectors：

    python generate_thought_vectors.py --caption_file="Data/sample_captions.txt"
    

  • 使用以下命令为生成的思维向量生成图像：

    python generate_images.py --model_path=<训练好的模型路径> --n_images=8
    

    其中 n_images 指定每条描述生成的图像数量。生成的图像将保存到 Data/val_samples/ 目录中。运行 python generate_images.py --help 可以查看更多选项。

生成的示例图像

以下是生成模型根据文本描述生成的图像。

文本描述	生成的图像
图中花朵具有黄色花药、红色雌蕊和鲜红色花瓣
这朵花的花瓣呈黄色、白色和紫色，并带有深色纹路
这朵花的花瓣为白色，中心为黄色
这朵花有许多小巧圆润的粉色花瓣。
这朵花呈橙色，花瓣呈波浪状且圆润。
花朵的花瓣为黄色，中心部分为棕色

实现细节

• 仅使用了 Skip Thought Vectors 中的单向向量。尚未尝试使用双向向量进行训练。
• 模型在 GPU 上训练了约 200 个 epoch，耗时大约 2–3 天。
• 生成的图像尺寸为 64×64。
• 在训练前处理批次时，图像会以 50% 的概率水平翻转。
• 训练集与验证集的比例为 75%。

预训练模型

• 从 这里 下载预训练模型，并将其保存到 Data/Models 目录中。使用该路径即可生成图像。

待办事项

• 在 MS-COCO 数据集上训练模型，生成更通用的图像。
• 尝试其他文本嵌入方式（除了 Skip Thought Vectors）。也可以尝试将文本嵌入 RNN 与 GAN-CLS 模型联合训练。

参考文献

• Generative Adversarial Text-to-Image Synthesis 论文
• Generative Adversarial Text-to-Image Synthesis 代码
• Skip Thought Vectors 论文
• Skip Thought Vectors 代码
• DCGAN in Tensorflow
• DCGAN in Tensorlayer

其他实现

• Scot Reed 使用 Torch 实现的文本到图像生成
• Dong Hao 使用 Tensorlayer 实现的文本到图像生成

许可证

MIT

Text-to-Image 快速上手指南

本项目是一个基于 TensorFlow 的实验性实现，利用 Skip Thought Vectors 和 GAN-CLS 算法，将文本描述（Caption）合成为图像。默认使用花卉数据集进行训练和生成。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS (Windows 需自行配置兼容环境)
• Python 版本: 2.7.6 (注意：该项目较老，强制要求 Python 2.7)
• 核心依赖:
  • TensorFlow
  • Theano (用于 Skip Thought Vectors)
  • h5py
  • scikit-learn
  • NLTK

提示: 由于项目依赖 Python 2.7 和较旧版本的深度学习框架，建议在独立的虚拟环境（如 virtualenv 或 conda）中运行，以避免与现有 Python 3 环境冲突。国内用户可使用清华源或阿里源加速 pip 包安装。

安装步骤

1. 克隆项目并安装依赖

git clone https://github.com/paarthneekhara/text-to-image.git
cd text-to-image
pip install -r requirements.txt
# 若 requirements.txt 不存在，请手动安装上述列出的核心依赖

2. 下载数据集与预训练模型

项目提供脚本自动下载所需的花卉数据集、文本描述以及 Skip Thought Vectors 的预训练模型。这将下载数 GB 的文件。

python download_datasets.py

脚本执行后会自动完成以下操作：

• 下载花卉图片至 Data/flowers/jpg
• 下载文本描述并解压至 Data/flowers/text_c10
• 下载 Skip Thought Vectors 模型至 Data/skipthoughts
• 创建必要的空目录：Data/samples, Data/val_samples, Data/Models

(注：如果自动下载失败，可参考 README 中的链接手动下载并放置到对应目录)

3. 数据处理

在训练或生成前，需要先将文本描述转换为 Skip Thought Vectors：

python data_loader.py --data_set="flowers"

基本使用

方式一：使用预训练模型生成图像（推荐）

如果您只想体验生成效果，无需重新训练，可直接使用预训练模型。

1. 准备文本: 将您想要的图像描述写入 Data/sample_captions.txt，每行一句描述。
   • 示例内容: the flower shown has yellow anther red pistil and bright red petals
2. 生成向量: 将文本转换为模型可理解的向量。

   python generate_thought_vectors.py --caption_file="Data/sample_captions.txt"
   

3. 生成图像: 运行生成脚本。

   python generate_images.py --model_path=Data/Models/latest_model_flowers_temp.ckpt --n_images=8
   

   • --model_path: 指向预训练模型文件（需确保已下载并放在 Data/Models 目录下）。
   • --n_images: 每个描述生成的图像数量。
   • 生成结果将保存在 Data/val_samples/ 目录中。

方式二：从头训练模型

如果您希望用自己的数据或调整参数进行训练：

python train.py --data_set="flowers"

常用训练参数选项：

• --z_dim: 噪声维度 (默认 100)
• --batch_size: 批次大小 (默认 64)
• --image_size: 图像尺寸 (默认 64x64)
• --learning_rate: 学习率 (默认 0.0002)
• --epochs: 最大训练轮数 (默认 600)
• --resume_model: 从指定路径的检查点恢复训练

训练完成后，模型将保存在 Data/Models 目录，随后可参照“方式一”的步骤生成图像。