# LeakGAN 论文通过泄露信息的对抗训练生成长文本的代码。

该论文已被第三十二届美国人工智能协会会议（AAAI-18）接收(AAAI-18)。

需求

• Tensorflow r1.2.1
• Python 2.7
• CUDA 7.5+（用于GPU）

简介

自动生成连贯且语义上有意义的文本在机器翻译、对话系统、图像字幕生成等领域有着广泛的应用。最近，通过结合策略梯度方法，利用判别模型作为强化学习策略来指导生成模型训练的生成对抗网络（GAN），在文本生成任务中展现了令人鼓舞的效果。然而，这种标量式的指导信号只有在整个文本生成完成后才能获得，并且在生成过程中缺乏关于文本结构的中间信息。因此，当生成的文本样本较长（超过20个词）时，其性能会受到限制。在本项目中，我们提出了一种名为LeakGAN的新框架，以解决长文本生成问题。我们允许判别网络将其提取的高层特征“泄漏”给生成网络，从而进一步辅助生成过程的指导。生成器通过一个额外的Manager模块将这些信息性信号融入到每一步的生成中：该模块接收当前已生成词的特征表示，并输出一个潜在向量，用以指导Worker模块进行下一步的词生成。我们在合成数据以及多种真实世界任务上的大量实验表明，LeakGAN不仅在长文本生成方面非常有效，而且在短文本生成场景中也显著提升了性能。更重要的是，在没有任何监督的情况下，LeakGAN仅通过Manager和Worker之间的交互就能隐式地学习句子结构。

如图所示，LeakGAN引入了一个分层的生成器G，它由高层的MANAGER模块和低层的WORKER模块组成。MANAGER是一个长短期记忆网络（LSTM），充当媒介角色。在每一步中，它接收判别器D的高层特征表示，例如CNN的特征图，并利用这些特征为WORKER模块在当前时间步设定指导目标。由于D内部维护的信息在对抗游戏中不应提供给G，我们将这一行为称为D向G的信息泄漏。

接下来，根据MANAGER生成的目标嵌入，WORKER首先使用另一个LSTM对当前已生成的词进行编码，然后将LSTM的输出与目标嵌入相结合，以在当前状态下做出最终决策。这样一来，来自D的指导信号不仅能在生成结束时以标量奖励的形式提供给G，还能在生成过程中以目标嵌入向量的形式持续指导G如何改进生成结果。

参考文献

@article{guo2017long,
  title={Long Text Generation via Adversarial Training with Leaked Information},
  author={Guo, Jiaxian and Lu, Sidi and Cai, Han and Zhang, Weinan and Yu, Yong and Wang, Jun},
  journal={arXiv preprint arXiv:1709.08624},
  year={2017}
}

您可以在以下文件夹中获取代码并运行实验。

文件夹

合成数据：合成数据实验

Image COCO：使用Image COCO数据集（http://cocodataset.org/#download）的真实文本示例

注：本代码基于LantaoYu的先前工作。在此特别感谢LantaoYu。

LeakGAN 快速上手指南

LeakGAN 是一个用于长文本生成的对抗生成网络（GAN）框架。它通过让判别器（Discriminator）将提取的高层特征“泄露”给生成器（Generator），利用管理器（Manager）和工作器（Worker）的分层结构，有效解决了长文本生成中引导信号稀疏的问题。

环境准备

在开始之前，请确保您的系统满足以下严格的环境要求（该项目基于较早期的 TensorFlow 版本开发）：

• 操作系统: Linux (推荐，Windows 需配置 CUDA 环境)
• Python 版本: Python 2.7 (注意：不支持 Python 3)
• 深度学习框架: TensorFlow r1.2.1
• GPU 支持 (可选但推荐):
  • CUDA 7.5 或更高版本
  • cuDNN (需与 CUDA 版本匹配)

提示：由于依赖 Python 2.7 和旧版 TensorFlow，建议在独立的虚拟环境（如 virtualenv 或 conda）中运行，以免污染现有开发环境。

安装步骤

1. 克隆项目代码

git clone https://github.com/CR-Gjx/LeakGAN.git
cd LeakGAN

2. 创建 Python 2.7 虚拟环境

如果您使用 conda：

conda create -n leakgan python=2.7
conda activate leakgan

如果您使用 virtualenv：

virtualenv -p /usr/bin/python2.7 leakgan_env
source leakgan_env/bin/activate

3. 安装依赖

由于 TensorFlow 1.2.1 较老，建议直接指定版本安装。国内用户可使用清华源加速下载：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu==1.2.1
# 如果不需要 GPU 支持，安装 CPU 版本：
# pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow==1.2.1

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy scipy matplotlib

注意：如果您的显卡驱动较新，可能无法直接支持 CUDA 7.5。在这种情况下，您可能需要寻找兼容的 Docker 镜像或在旧硬件上运行。

基本使用

本项目主要包含合成数据实验和真实数据集（Image COCO）实验。以下以**合成数据（Synthetic Data）**为例，展示最基础的运行流程。

1. 进入合成数据目录

cd synthetic_data

2. 运行训练脚本

执行主程序开始训练。默认配置下，模型将初始化生成器和判别器，并进行对抗训练。

python run.py

• 过程说明：脚本会自动生成合成数据，初始化 Manager 和 Worker 模块，并开始迭代训练。您可以在终端看到实时的损失值（Loss）和生成样本的质量评估。
• 参数调整：如需修改超参数（如序列长度、隐藏层大小等），请直接编辑 run.py 或对应的配置文件（如有）。

3. 运行 Image COCO 实验（可选）

如果您已下载 Image COCO 数据集，可进入对应文件夹运行真实场景实验：

cd ../image_coco
# 请确保已按照 dataset 目录下的说明预处理数据
python run.py

4. 查看结果

训练完成后，生成的文本样本和模型权重通常会保存在当前目录下的 save/ 或 result/ 文件夹中（具体路径视代码内部逻辑而定）。您可以检查生成的 .txt 文件来评估长文本的连贯性。

---

注：本代码基于 LantaoYu 的 SeqGAN 项目开发，引用论文请参考项目根目录中的 Reference 部分。