状态: 归档（代码按原样提供，预计不再更新）

gpt-2

来自论文《语言模型是无监督的多任务学习者》（Language Models are Unsupervised Multitask Learners）的代码和模型。

您可以通过我们的原始博客文章、6个月后续文章以及最终文章了解 GPT-2 及其分阶段发布的详情。

我们还发布了一个数据集，供研究人员研究这些模型的行为。

^* 请注意，由于之前的错误（在我们的旧博客文章和论文中），我们最初的参数量统计有误。因此，您可能会看到将“小”模型称为 117M，“中”模型称为 345M。

使用方法

本仓库旨在为研究人员和工程师提供一个实验 GPT-2 的起点。

有关基本信息，请参阅我们的模型卡片。

一些注意事项

• 目前对 GPT-2 模型的鲁棒性及其最坏情况下的行为尚不完全清楚。与任何机器学习模型一样，在具体应用场景中使用 GPT-2 时，请务必谨慎评估，尤其是在未进行微调或用于对可靠性要求极高的安全关键型应用时。
• 我们的 GPT-2 模型所训练的数据集中包含大量带有偏见和事实性错误的文本，因此 GPT-2 模型也很可能表现出偏见并产生不准确的结果。
• 为了避免生成的样本被误认为是人类撰写的内容，我们建议在广泛传播之前明确标注样本为“合成”。我们的模型常常会在细微之处出现不连贯或不准确的情况，而这些细节往往需要仔细阅读才能被人类察觉。

与我们合作

如果您正在利用 GPT-2 进行有趣的科研工作或开发相关应用，请联系我们！我们尤其希望与以下领域的研究者交流并可能开展合作：

• 潜在的恶意使用场景及其防御措施（例如，合成文本的可检测性）
• 模型中潜在问题内容（如偏见）的程度及有效的缓解方法

开发

请参阅 DEVELOPERS.md

贡献者

请参阅 CONTRIBUTORS.md

引用

请使用以下 BibTeX 条目：

@article{radford2019language,
  title={Language Models are Unsupervised Multitask Learners},
  author={Radford, Alec and Wu, Jeff and Child, Rewon and Luan, David and Amodei, Dario and Sutskever, Ilya},
  year={2019}
}

未来工作

我们可能会发布用于在各类基准上评估这些模型的代码。

我们仍在考虑是否发布更大规模的模型。

许可证

修改后的 MIT 许可证

GPT-2 快速上手指南

状态说明：本项目已归档（Archive），代码按原样提供，不再更新。本指南旨在帮助研究人员和开发者基于原始代码进行实验。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL 或 Docker）。
• Python 版本：推荐 Python 3.6 或更高版本。
• 硬件要求：
  • 运行最小模型（117M 参数）：至少 4GB 显存的 GPU（推荐 NVIDIA GPU）。
  • 运行更大模型：需要更多显存（如 774M 需 ~10GB，1.5B 需 ~16GB+）。若无 GPU，可使用 CPU 运行但速度较慢。
• 前置依赖：
  • pip (Python 包管理工具)
  • git (代码版本控制)
  • tensorflow-gpu (若使用 GPU) 或 tensorflow (CPU 版)

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里云镜像源以提升下载速度：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库 将 GPT-2 源代码下载到本地：

   git clone https://github.com/openai/gpt-2.git
   cd gpt-2
   

2. 安装依赖 安装项目所需的 Python 库：

   pip install -r requirements.txt
   

   (注：若遇到 TensorFlow 安装问题，请手动安装适合您 CUDA 版本的 tensorflow-gpu)

3. 下载模型权重 运行脚本下载预训练模型。您可以选择下载所有模型或指定大小的模型（117M, 345M, 774M, 1558M）。

   下载所有模型：

   python download_model.py all
   

   或者仅下载最小模型（推荐快速测试）：

   python download_model.py 117M
   

   注意：模型文件较大，下载可能需要较长时间。若网络不稳定，建议配置代理或使用支持断点续传的工具下载 models 目录下的文件。

基本使用

下载完成后，您可以直接使用命令行交互生成文本。

最简单的使用示例：

运行以下命令启动交互式会话（默认加载 117M 模型）：

python src/interactive_conditional_samples.py --top_k 40

操作说明：

1. 程序启动后，终端会提示 Model loaded。
2. 输入任意英文文本作为提示（Prompt），例如：Hello, my name is。
3. 按下回车键，模型将自动生成后续文本。
4. 输入 <|endoftext|> 可退出程序。

自定义参数示例： 如果您下载了更大的模型（如 345M），可以通过 --model_name 指定：

python src/interactive_conditional_samples.py --model_name 345M --top_k 40

重要提示：

• GPT-2 主要基于英文语料训练，对中文的支持非常有限，生成的中文内容可能不连贯或无意义。
• 生成的内容可能存在事实错误或偏见，请勿在未人工审核的情况下将其用于生产环境或关键应用。
• 根据官方建议，公开发布由该模型生成的内容时，请务必明确标注为“合成文本”（Synthetic Text）。