基于 PyTorch 的 GPT2 文本生成器

更优秀的语言模型及其影响

我们的模型名为 GPT-2（是 GPT 的后继版本），它仅通过预测 40GB 互联网文本中的下一个词进行训练。鉴于我们对该技术可能被恶意利用的担忧，我们并未公开训练好的完整模型。作为负责任披露的一次尝试，我们发布了一个规模小得多的模型供研究人员实验，并附上了一篇技术论文。摘自 OpenAI 博客。

本仓库是在 PyTorch 中实现的一个简单的 GPT-2 文本生成器，代码经过压缩优化。

• 原始代码库为 openai/gpt-2。您还可以阅读关于 GPT-2 的论文《语言模型是无监督的多任务学习者》(https://d4mucfpksywv.cloudfront.net/better-language-models/language_models.pdf)。若想深入了解相关概念，建议阅读有关 Transformer 模型的论文。

• 我参考了另一个优秀的 PyTorch 实现——huggingface/pytorch-pretrained-BERT，您可以在 Hugging Face 的仓库中找到更详细的实现细节。

• Transformer（自注意力机制）论文：Attention Is All You Need（2017）

• OpenAI 首个 GPT 论文：通过生成式预训练提升语言理解能力（2018）

• 更多关于 GPT-2 及其论文的信息，请参阅 OpenAI 博客

快速入门

1. 下载由 Hugging Face 提供的 PyTorch 版 GPT-2 预训练模型！（感谢分享！这解决了我将 TensorFlow (ckpt) 文件转换为 PyTorch 模型的问题！）

$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# 下载 Hugging Face 的 PyTorch 模型
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# 安装依赖项，若使用 macOS，则需按照下方说明进行额外设置
$ pip install -r requirements.txt

2. 现在您可以这样运行：

• 来自乔治·奥威尔《1984》的文本：

$ python main.py --text "It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him."

3. 您也可以在 Google Colab 上快速开始。

参数选项

• --text：用于起始的句子。
• --quiet：不打印多余的输出，如“================”。
• --nsamples：在使用多项式分布函数时，每次批量采样的样本数量。
• --unconditional：如果为真，则进行无条件生成。
• --batch_size：批次大小。
• --length：生成的句子长度（小于上下文长度）。
• --temperature：分布中的热力学温度（默认值为 0.7）。
• --top_k：返回给定输入张量沿指定维度的前 k 个最大元素。（默认值为 40）

有关 temperature 和 top_k 的更多详细信息，请参阅 此处。

依赖项

• PyTorch 0.41+
• regex 2017.4.5

macOS 设置

$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txt

作者

• 郑泰焕（Jeff Jung）@graykode
• 作者邮箱：nlkey2022@gmail.com

许可证

• OpenAI/GPT2 遵循 MIT 许可证，Hugging Face/pytorch-pretrained-BERT 遵循 Apache 许可证。
• 本项目遵循与原始 GPT2 仓库相同的 MIT 许可证。

致谢

感谢 Jeff Wu(@WuTheFWasThat) 和 Thomas Wolf(@thomwolf) 允许引用他们的代码。

gpt-2-Pytorch 快速上手指南

本指南基于 gpt-2-Pytorch 项目，帮助开发者快速在 PyTorch 环境中运行 GPT-2 文本生成模型。该项目是对 OpenAI GPT-2 的简洁实现，并集成了 Hugging Face 提供的预训练权重。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：建议 Python 3.6+
• 核心依赖：
  • PyTorch >= 0.41
  • regex == 2017.4.5
  • tqdm (用于显示进度条)

注意：如果您使用的是 macOS，需要额外安装 libomp 并配置环境变量（见下文安装步骤中的特别说明）。

安装步骤

1. 克隆项目与下载模型

首先克隆仓库并下载由 Hugging Face 转换好的 PyTorch 格式预训练模型。

git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch

# 下载预训练模型权重 (gpt2-pytorch_model.bin)
curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin

国内加速建议：如果 curl 下载速度较慢，可尝试使用国内镜像源或代理加速该 S3 链接，或者手动下载后放入项目根目录。

2. 安装依赖

通用环境 (Linux/Windows)

直接安装 requirements 文件中的依赖：

pip install -r requirements.txt

macOS 特别配置

如果在 macOS 上运行，请按顺序执行以下命令以解决编译和编码问题：

python3 -m venv venv
source venv/bin/activate
pip install torch tqdm
brew install libomp
export LC_ALL=en_US.UTF-8
export LANG=en_US.UTF-8
pip install -r requirements.txt

基本使用

安装完成后，您可以直接使用 main.py 进行文本生成。以下示例使用乔治·奥威尔《1984》的经典开篇作为提示词（Prompt）：

python main.py --text "It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him."

常用参数说明

您可以通过以下参数调整生成效果：

• --text: 起始句子（Prompt）。
• --length: 生成文本的长度（需小于上下文窗口大小）。
• --temperature: 采样温度，控制随机性（默认 0.7，值越高越随机）。
• --top_k: 仅从概率最高的 k 个词中采样（默认 40）。
• --nsamples: 批量生成的样本数量。
• --quiet: 静默模式，不打印分隔符等额外信息。

示例：调整温度和生成长度

python main.py --text "Artificial intelligence is" --length 100 --temperature 0.8 --top_k 40

此外，您也可以直接在 Google Colab 中在线体验该项目。