PPLM

本仓库包含运行即插即用语言模型（PPLM）的代码，相关介绍请参见这篇**博客文章和arXiv论文。此外，还提供了演示和Colab 笔记本**。

注意：如果您计划将 PPLM 用作基准，并希望使用论文附录中列出的参数，请使用此**文件夹中的语言模型和判别器。或者，如果您使用主目录中的代码/模型和/或🤗/Transformers**进行公平比较，则可自行调整超参数（这些模型/判别器的最佳参数与论文中使用的参数大致相差 5 倍）。

PPLM 也已集成到**🤗/Transformers**仓库中。

即插即用语言模型：一种简单的可控文本生成方法

作者：Sumanth Dathathri、Andrea Madotto、Janice Lan、Jane Hung、Eric Frank、Piero Molino、Jason Yosinski 和 Rosanne Liu

PPLM 允许用户灵活地将一个或多个小型属性模型（代表期望的控制目标）插入到大型无条件语言模型（LM）中。该方法的关键特性是它直接使用原始语言模型——无需训练或微调——这使得研究人员即使不具备训练这些模型所需的大量硬件资源，也能充分利用业界领先的语言模型。

更多信息请参阅我们的 arXiv 论文、博客文章，并使用 Colab 笔记本 无需任何设置即可亲自体验。

设置

pip install -r requirements.txt

引用

@inproceedings{
Dathathri2020Plug,
title={Plug and Play Language Models: A Simple Approach to Controlled Text Generation},
author={Sumanth Dathathri and Andrea Madotto and Janice Lan and Jane Hung and Eric Frank and Piero Molino and Jason Yosinski and Rosanne Liu},
booktitle={International Conference on Learning Representations},
year={2020},
url={https://openreview.net/forum?id=H1edEyBKDS}
}

PPLM-BoW

词袋控制示例命令

python run_pplm.py -B military --cond_text "The potato" --length 50 --gamma 1.5 --num_iterations 3 --num_samples 10 --stepsize 0.03 --window_length 5 --kl_scale 0.01 --gm_scale 0.99 --colorama --sample

调整词袋控制的超参数

1. 增大 --stepsize 可以加强主题控制，减小则会减弱控制效果。--stepsize 0 将恢复为原始的未受控制的 GPT-2 模型。

2. 如果生成的语言出现重复现象（例如“science science experiment experiment”），可以考虑以下几种方法：
   a) 减小 --stepsize
   b) 增大 --kl_scale（KL 散度系数）或减小 --gm_scale（gm 缩放项）
   c) 添加 --grad-length xx，其中 xx 是一个小于等于长度的整数（例如 --grad-length 30）。
   

PPLM-Discrim

基于判别器的情感控制示例命令

python run_pplm.py -D sentiment --class_label 2 --cond_text "My dog died" --length 50 --gamma 1.0 --num_iterations 10 --num_samples 10 --stepsize 0.04 --kl_scale 0.01 --gm_scale 0.95 --sample

调整判别器控制的超参数

1. 增大 --stepsize 可以加强主题控制，减小则会减弱控制效果。--stepsize 0 将恢复为原始的未受控制的 GPT-2 模型。

2. 使用 --class_label 3 表示负面情感，--class_label 2 表示正面情感。

根目录下的判别器和 GPT-2 模型与论文中用于分析的模型不同。与论文对应的代码和模型可在此处找到。

PPLM 快速上手指南

PPLM (Plug and Play Language Model) 是一种无需训练或微调即可控制文本生成的方法。它允许用户将小型属性模型（如主题词包或情感判别器）“即插即用”地连接到大型无条件语言模型（如 GPT-2）上，从而灵活地引导生成内容的主题或情感倾向。

环境准备

• 系统要求：Linux / macOS / Windows (需支持 Python 环境)
• 前置依赖：
  • Python 3.6+
  • PyTorch
  • Transformers (Hugging Face)
  • 其他依赖库（见 requirements.txt）
• 硬件建议：推荐使用 NVIDIA GPU 以加速生成过程；若仅进行小规模测试，CPU 亦可运行但速度较慢。

提示：国内开发者建议使用清华源或阿里源加速 pip 安装。

安装步骤

1. 克隆仓库并进入目录：

   git clone https://github.com/uber-research/PPLM.git
   cd PPLM
   

2. 安装依赖包（推荐使用国内镜像源）：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

PPLM 支持两种主要的控制方式：基于词包 (Bag-of-Words) 的主题控制和 基于判别器 (Discriminator) 的情感控制。

1. 基于词包的主题控制 (PPLM-BoW)

以下命令将引导模型围绕 "military"（军事）主题，以 "The potato" 为开头生成文本：

python run_pplm.py -B military --cond_text "The potato" --length 50 --gamma 1.5 --num_iterations 3 --num_samples 10 --stepsize 0.03 --window_length 5 --kl_scale 0.01 --gm_scale 0.99 --colorama --sample

参数调优提示：

• 增强主题控制强度：增大 --stepsize。
• 减少重复生成：减小 --stepsize，或增大 --kl_scale，或添加 --grad-length 限制梯度传播长度。
• 设为 --stepsize 0 可恢复为原始未控制的 GPT-2 模型。

2. 基于判别器的情感控制 (PPLM-Discrim)

以下命令将引导模型生成正面情感（--class_label 2）的文本，以 "My dog died" 为开头（尝试扭转悲伤语境）：

python run_pplm.py -D sentiment --class_label 2 --cond_text "My dog died" --length 50 --gamma 1.0 --num_iterations 10 --num_samples 10 --stepsize 0.04 --kl_scale 0.01 --gm_scale 0.95 --sample

参数说明：

• --class_label 2：代表正面情感 (Positive)。
• --class_label 3：代表负面情感 (Negative)。
• 增强情感控制强度：增大 --stepsize。

注意：根目录下的默认模型与论文中使用的模型参数有所不同。若需复现论文结果或作为基准对比，请使用 paper_code 文件夹中的代码和模型，或自行调整超参数（默认模型的 optimal parameters 约为论文参数的 5 倍差异）。