文本到图像合成

这是使用 TensorFlow 实现的图像合成项目。图像通过论文 Generative Adversarial Text-to-Image Synthesis 中的 GAN-CLS 算法生成。该实现基于优秀的 DCGAN in Tensorflow。

请给 https://github.com/tensorlayer/tensorlayer 点个赞！

图片来源：Generative Adversarial Text-to-Image Synthesis 论文

需求

• TensorFlow 1.0+
• TensorLayer 1.4+
• NLTK：用于分词器

数据集

• 模型目前在 flowers 数据集 上进行训练。请从 这里 下载图片，并将其保存到 102flowers/102flowers/*.jpg 目录下。同时，请从 此链接 下载标注文本。解压压缩包后，将 text_c10 文件夹复制并粘贴到 102flowers/text_c10/class_* 目录中。

注意 你可以手动下载所有所需的数据文件，或者直接运行 downloads.py 脚本，它会自动将文件放置到正确的位置。

python downloads.py

代码

• downloads.py 下载 Oxford-102 花卉数据集和标注文件（请先运行此脚本）。
• data_loader.py 加载数据以便进一步处理。
• train_txt2im.py 训练文本到图像生成模型。
• utils.py 辅助函数。
• model.py 模型定义。

参考文献

• Generative Adversarial Text-to-Image Synthesis 论文
• Generative Adversarial Text-to-Image Synthesis Torch 代码
• Skip Thought Vectors 论文
• Skip Thought Vectors 代码
• [带有 Skip Thought Vectors 的文本到图像生成][https://github.com/paarthneekhara/text-to-image] TensorFlow 代码
• DCGAN in Tensorflow

结果

• 图中的花具有黄色的花药、红色的雌蕊和鲜艳的红色花瓣。
• 这朵花的花瓣呈黄色、白色和紫色，并带有深色条纹。
• 这朵花的花瓣为白色，中心为黄色。
• 这朵花有许多小巧圆润的粉色花瓣。
• 这朵花呈橙色，花瓣呈波浪状且边缘圆润。
• 这朵花的花瓣为黄色，中心为棕色。
• 这朵花的花瓣为蓝色和白色。
• 这些白色的花朵，花瓣从基部开始为白色，逐渐过渡到尖端处的纯白色。

许可证

Apache 2.0

Text-to-Image 快速上手指南

本指南基于 TensorFlow 实现，利用 GAN-CLS 算法将文本描述合成为图像（基于 Oxford-102 花卉数据集）。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / macOS / Windows
• Python 版本: 建议 Python 3.6+ (兼容 TensorFlow 1.x 环境)
• 核心依赖:
  • TensorFlow 1.0+
  • TensorLayer 1.4+
  • NLTK (用于文本分词)

注意：由于该项目基于 TensorFlow 1.x 开发，建议在独立的虚拟环境中安装，以避免与 TF 2.x 环境冲突。

安装步骤

1. 安装依赖库

使用 pip 安装必要的 Python 包。国内用户推荐使用清华或阿里镜像源加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.15.0 tensorlayer==1.11.0 nltk

2. 下载数据集

项目提供了自动下载脚本，用于获取 Oxford-102 花卉图像及对应的文本描述文件。运行以下命令：

python downloads.py

脚本执行后，数据将自动整理至以下目录结构：

• 图像：102flowers/102flowers/*.jpg
• 文本：102flowers/text_c10/class_*

(如果自动下载失败，也可手动从 牛津花朵数据集 和 对应文本链接 下载并放入上述目录)

3. 初始化 NLTK 资源

首次使用前，需下载 NLTK 的分词数据（在 Python 交互环境中执行）：

import nltk
nltk.download('punkt')

基本使用

完成环境配置和数据准备后，即可开始训练模型。

启动训练

运行主训练脚本，模型将开始学习文本到图像的映射关系：

python train_txt2im.py

训练过程中，模型会根据 data_loader.py 加载的数据进行迭代，生成的检查点文件和示例结果将保存在输出目录中。

代码结构说明

• downloads.py: 数据集下载入口。
• data_loader.py: 负责数据加载与预处理。
• train_txt2im.py: 核心训练脚本。
• model.py: 定义 GAN-CLS 生成器与判别器网络结构。
• utils.py: 辅助工具函数。