GPT2 多语言版

中文说明 | English

• 简化版 GPT2 训练脚本（基于 Grover，支持 TPU）
• 移植 BERT 分词器，兼容多语言语料
• 15亿参数的 GPT2 中文预训练模型（约15G语料，10万步训练）
• 内置电池式 Colab 示例 #
• 15亿参数的 GPT2 中文预训练模型（约30G语料，22万步训练）

预训练模型

规模	语言	语料	词汇表	链接1	链接2	SHA256
15亿参数	中文	~30G	CLUE ( 8021 tokens )	Google Drive	百度网盘 (ffz6)	e698cc97a7f5f706f84f58bb469d614e 51d3c0ce5f9ab9bf77e01e3fcb41d482
15亿参数	中文	~15G	Bert ( 21128 tokens )	Google Drive	百度网盘 (q9vr)	4a6e5124df8db7ac2bdd902e6191b807 a6983a7f5d09fb10ce011f9a073b183e

语料来自 THUCNews 和 nlp_chinese_corpus

使用 Cloud TPU Pod v3-256 训练了22万步

Google Colab

只需点击两次（不包括 Colab 身份验证过程），15亿参数的中文预训练模型演示即可运行：

[Colab 笔记本]

训练

免责声明

本仓库中的内容仅用于学术研究目的，我们不提供任何结论性意见。

引用

@misc{GPT2-ML,
  author = {Zhibo Zhang},
  title = {GPT2-ML: 多语言版 GPT-2},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/imcaspar/gpt2-ml}},
}

参考文献

https://github.com/google-research/bert

https://github.com/rowanz/grover

研究得到了 Google TensorFlow Research Cloud (TFRC) 提供的 Cloud TPU 支持。

媒体报道

[机器之心] 只需单击三次，让中文 GPT-2 为你生成定制故事

[科学空间] 现在可以用 Keras 玩中文 GPT2 了

gpt2-ml 快速上手指南

gpt2-ml 是一个支持多语言（特别是中文）的 GPT-2 预训练模型项目，基于 Grover 架构简化了训练脚本并支持 TPU。本项目提供了基于约 30G 中文语料训练的 1.5B 参数模型。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统: Linux (推荐) 或 macOS
• Python: 3.6+
• 深度学习框架: TensorFlow 1.x (项目基于 TF 1.x 生态，建议使用 TF 1.14 或 1.15)
• 硬件:
  • GPU: 显存建议 16GB 以上以运行 1.5B 模型推理。
  • TPU: 可选，项目原生支持 Cloud TPU 训练。
• 前置依赖:

  pip install tensorflow-gpu==1.15.0 sentencepiece numpy
  

  注：国内用户可使用清华源加速安装：

  pip install tensorflow-gpu==1.15.0 sentencepiece numpy -i https://pypi.tuna.tsinghua.edu.cn/simple
  

安装步骤

1. 克隆仓库

   git clone https://github.com/imcaspar/gpt2-ml.git
   cd gpt2-ml
   

2. 下载预训练模型 本项目提供两个版本的中文预训练模型，推荐下载 ~30G 语料版本（效果更佳）。

   • 版本 A (推荐): 1.5B 参数，~30G 语料，CLUE 词表 (8021 tokens)

     • Google Drive 下载链接
     • 百度网盘下载链接 (提取码: ffz6)

   • 版本 B: 1.5B 参数，~15G 语料，Bert 词表 (21128 tokens)

     • Google Drive 下载链接
     • 百度网盘下载链接 (提取码: q9vr)

   下载完成后，将解压后的模型文件放置在项目目录下的 pretrained_models 文件夹中（具体路径请参考模型包内的说明或 demo 脚本配置）。

基本使用

最简单的方式是通过 Google Colab 直接体验，或者在本地运行演示脚本。

方式一：Google Colab (推荐新手)

无需配置本地环境，点击以下链接即可在云端运行 1.5B 中文模型演示：

• 打开 Colab 演示 Notebook

方式二：本地运行示例

假设你已下载好模型并配置好 TensorFlow 环境，可以使用以下 Python 代码进行文本生成：

import tensorflow as tf
from sample import sample_model

# 配置模型路径 (请根据实际下载的版本修改路径)
model_dir = './pretrained_models/chinese_1.5b_30g' 

# 设置生成参数
length = 100          # 生成文本长度
temperature = 1.0     # 温度系数，越高越随机
top_k = 40            # 采样范围
prompt = "人工智能是" # 输入提示词

# 执行生成
sample_model(
    model_dir=model_dir,
    prompt=prompt,
    length=length,
    temperature=temperature,
    top_k=top_k
)

注意：具体的调用函数名 (sample_model) 和参数可能因仓库更新略有不同，请以 pretrained_model_demo.ipynb 中的最新代码逻辑为准。