TextGAN-PyTorch

TextGAN 是一个基于 PyTorch 的生成对抗网络（GANs）文本生成模型框架，包括通用文本生成模型和类别文本生成模型。TextGAN 作为基准测试平台，支持基于 GAN 的文本生成模型研究。由于大多数基于 GAN 的文本生成模型都是用 Tensorflow 实现的，TextGAN 可以帮助习惯使用 PyTorch 的研究者更快地进入文本生成领域。

如果您发现我的实现中有任何错误，请告诉我！此外，如果您想添加其他模型，欢迎为此仓库做出贡献。

依赖环境

• PyTorch >= 1.1.0
• Python 3.6
• Numpy 1.14.5
• CUDA 7.5+ (用于 GPU)
• nltk 3.4
• tqdm 4.32.1
• KenLM (https://github.com/kpu/kenlm)

安装依赖请运行 pip install -r requirements.txt。如遇到 CUDA 问题，请查阅官方 PyTorch 入门指南。

KenLM 安装

• 下载稳定版本并解压：http://kheafield.com/code/kenlm.tar.gz

• 需要 Boost >= 1.42.0 和 bjam

  • Ubuntu: sudo apt-get install libboost-all-dev
  • Mac: brew install boost; brew install bjam

• 在 kenlm 目录下运行：

  mkdir -p build
  cd build
  cmake ..
  make -j 4
  

• pip install https://github.com/kpu/kenlm/archive/master.zip

• 更多信息请查看：https://github.com/kpu/kenlm 和 http://kheafield.com/code/kenlm/

已实现的模型及原始论文

通用文本生成

• SeqGAN - SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient
• LeakGAN - Long Text Generation via Adversarial Training with Leaked Information
• MaliGAN - Maximum-Likelihood Augmented Discrete Generative Adversarial Networks
• JSDGAN - Adversarial Discrete Sequence Generation without Explicit Neural Networks as Discriminators
• RelGAN - RelGAN: Relational Generative Adversarial Networks for Text Generation
• DPGAN - DP-GAN: Diversity-Promoting Generative Adversarial Network for Generating Informative and Diversified Text
• DGSAN - DGSAN: Discrete Generative Self-Adversarial Network
• CoT - CoT: Cooperative Training for Generative Modeling of Discrete Data

类别文本生成

• SentiGAN - SentiGAN: Generating Sentimental Texts via Mixture Adversarial Networks
• CatGAN (我们的模型) - CatGAN: Category-aware Generative Adversarial Networks with Hierarchical Evolutionary Learning for Category Text Generation

快速开始

• 快速开始

git clone https://github.com/williamSYSU/TextGAN-PyTorch.git
cd TextGAN-PyTorch

• 对于真实数据实验，所有数据集（Image COCO、EMNLP NEWs、Movie Review、Amazon Review）都可以从这里下载。
• 运行特定模型

cd run
python3 run_[model_name].py 0 0	# 第一个 0 是 job_id，第二个 0 是 gpu_id

# 例如
python3 run_seqgan.py 0 0

功能特性

1. 训练器（Instructor）

   对于每个模型，整个运行过程都定义在 instructor/oracle_data/seqgan_instructor.py 中（以合成数据实验中的 SeqGAN 为例）。一些基本函数如 init_model() 和 optimize() 定义在基类 BasicInstructor 的 instructor.py 中。如果您想添加新的基于 GAN 的文本生成模型，请在 instructor/oracle_data 下创建新的训练器并定义模型的训练过程。

2. 可视化（Visualization）

   使用 utils/visualization.py 可视化日志文件，包括模型损失和评估指标分数。在 log_file_list 中自定义您的日志文件，数量不超过 len(color_list)。日志文件名应去掉 .txt 后缀。

3. 日志记录（Logging）

   TextGAN-PyTorch 使用 Python 的 logging 模块记录运行过程，如生成器的损失和评估指标分数。为了便于可视化，会有两个相同的日志文件分别保存在 log/log_****_****.txt 和 save/**/log.txt 中。此外，代码会自动将模型的状态字典和一批生成器样本保存在 ./save/**/models 和 ./save/**/samples 中（每 log 一步保存一次），其中 ** 取决于您的超参数。

4. 运行信号（Running Signal）

   您可以使用 Signal 类（请参考 utils/helpers.py）基于字典文件 run_signal.txt 轻松控制训练过程。

   使用 Signal 时，只需编辑本地文件 run_signal.txt 并将 pre_sig 设置为 False（例如），程序将停止预训练并进入下一训练阶段。如果您认为当前训练已经足够，这可以方便地提前停止训练。

5. 自动选择 GPU

   在 config.py 中，程序会自动选择 nvidia-smi 中 GPU 使用率（GPU-Util）最低的 GPU 设备。此功能默认启用。如果您想手动选择 GPU 设备，请在 run_[run_model].py 中取消注释 --device 参数并通过命令指定 GPU 设备。

实现细节

SeqGAN

• 运行文件：run_seqgan.py

• 训练器：oracle_data，real_data

• 模型：生成器，判别器

• 结构图（来自 SeqGAN）

  

LeakGAN

• 运行文件：run_leakgan.py

• 训练器：oracle_data，real_data

• 模型：生成器，判别器

• 结构图（来自 LeakGAN）

  

MaliGAN

• 运行文件：run_maligan.py

• 训练器：oracle_data，real_data

• 模型：生成器，判别器

• 结构图（来自我的理解）

  

JSDGAN

• 运行文件：run_jsdgan.py

• 指导器：oracle_data、real_data

• 模型：generator（无判别器，discriminator）

• 结构（根据我的理解）

  

RelGAN

• 运行文件：run_relgan.py

• 指导器：oracle_data、real_data

• 模型：generator、discriminator

• 结构（根据我的理解）

  

DPGAN

• 运行文件：run_dpgan.py

• 指导器：oracle_data、real_data

• 模型：generator、discriminator

• 结构（来自 DPGAN）

  

DGSAN

• 运行文件：run_dgsan.py

• 指导器：oracle_data、real_data

• 模型：generator、discriminator

CoT

• 运行文件：run_cot.py

• 指导器：oracle_data、real_data

• 模型：generator、discriminator

• 结构（来自 CoT）

  

SentiGAN

• 运行文件：run_sentigan.py

• 指导器：oracle_data、real_data

• 模型：generator、discriminator

• 结构（来自 SentiGAN）

  

CatGAN

• 运行文件：run_catgan.py

• 指导器：oracle_data、real_data

• 模型：generator、discriminator

• 结构（来自 CatGAN）

  

许可证

MIT 许可证

TextGAN-PyTorch 快速上手指南

TextGAN-PyTorch 是一个基于 PyTorch 的 GAN 文本生成框架，支持通用文本生成和类别文本生成。

环境准备

系统要求

• Python 3.6
• CUDA 7.5+（如需 GPU 加速）

前置依赖

依赖	版本要求
PyTorch	>= 1.1.0
Numpy	1.14.5
nltk	3.4
tqdm	4.32.1
KenLM	-

安装 KenLM（必需）

KenLM 是语言模型工具，需要单独编译安装：

# 1. 下载并解压
wget http://kheafield.com/code/kenlm.tar.gz
tar -xzf kenlm.tar.gz
cd kenlm

# 2. 安装系统依赖
# Ubuntu
sudo apt-get install libboost-all-dev
# Mac
brew install boost && brew install bjam

# 3. 编译
mkdir -p build
cd build
cmake ..
make -j 4

# 4. 安装 Python 包
pip install https://github.com/kpu/kenlm/archive/master.zip

安装步骤

# 1. 克隆仓库
git clone https://github.com/williamSYSU/TextGAN-PyTorch.git
cd TextGAN-PyTorch

# 2. 安装 Python 依赖
pip install -r requirements.txt

国内加速：如遇网络问题，可使用国内镜像：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt

基本使用

运行示例

cd run
python3 run_seqgan.py 0 0

参数说明：

• 第一个 0：job_id（任务编号）
• 第二个 0：gpu_id（GPU 编号）

可用模型

通用文本生成：

• run_seqgan.py - SeqGAN
• run_leakgan.py - LeakGAN
• run_maligan.py - MaliGAN
• run_jsdgan.py - JSDGAN
• run_relgan.py - RelGAN
• run_dpgan.py - DPGAN
• run_dgsan.py - DGSAN
• run_cot.py - CoT

类别文本生成：

• run_sentigan.py - SentiGAN
• run_catgan.py - CatGAN

数据集

如需使用真实数据实验，可从 Google Drive 下载：Image COCO、EMNLP NEWS、Movie Review、Amazon Review。