aitextgen

一款功能强大的 Python 工具，用于基于文本的 AI 训练和生成，采用 OpenAI 的 GPT-2 以及 EleutherAI 的 GPT Neo/GPT-3 架构。

aitextgen 是一个 Python 包，它利用了 PyTorch、Hugging Face Transformers 和 pytorch-lightning，并针对使用 GPT-2 进行文本生成进行了特定优化，同时添加了 许多 新特性。它是 textgenrnn 和 gpt-2-simple 的继任者，融合了两者的优点：

• 可以在 OpenAI 提供的预训练 124M/355M/774M GPT-2 模型，或 EleutherAI 提供的 125M/350M GPT Neo 模型上进行微调……也可以自己创建 GPT-2/GPT Neo 模型及分词器，并从头开始训练！
• 文本生成速度比 gpt-2-simple 更快，且内存效率更高！
• 借助 Transformers，aitextgen 保持与基础包的兼容性，允许你将模型用于其他自然语言处理任务，从 Hugging Face 模型库下载自定义 GPT-2 模型，并上传自己的模型！此外，它还使用内置的 generate() 函数，让你对生成的文本拥有极大的控制权。
• 通过 pytorch-lightning，aitextgen 不仅可以在 CPU 和 GPU 上训练模型，还可以在 多块 GPU 甚至（未来）TPU 上进行训练！它还提供了一个美观的训练进度条，并支持添加可选的日志记录器。
• 输入数据集是一个独立的对象，不仅可以在几秒钟内轻松编码数兆字节的数据，还能在本地缓存和压缩后传输到远程服务器；此外，你还可以在不引入偏差的情况下 合并 数据集，或者在多个数据集上进行 交叉训练，从而生成混合输出。

你可以在 文档 中了解更多关于 aitextgen 的信息！

演示

你可以使用这些 Colaboratory 笔记本来免费试用 aitextgen，并借助强大的 GPU 进行体验！

• 在你的数据集上微调 OpenAI 的 124M GPT-2 模型（或 GPT Neo）（GPU）
• 从零开始训练 GPT-2 模型及分词器（GPU）

你也可以在自己的电脑上试用自定义的 Reddit 和 Hacker News 演示模型。

安装

aitextgen 可以从 PyPI 安装：

pip3 install aitextgen

快速示例

即使你没有 GPU，也可以在自己的电脑上快速试用 aitextgen！

以下是使用预训练 GPT-2 模型生成文本的方法：

from aitextgen import aitextgen

# 如果不传入任何参数，aitextgen() 会自动下载、缓存并加载 124M 的 GPT-2 “small” 模型
ai = aitextgen()

ai.generate()
ai.generate(n=3, max_length=100)
ai.generate(n=3, prompt="我相信独角兽是因为", max_length=100)
ai.generate_to_file(n=10, prompt="我相信独角兽是因为", max_length=100，temperature=1.2)

你也可以通过命令行生成文本：

aitextgen generate
aitextgen generate --prompt "我相信独角兽是因为" --to_file False

想在自己的电脑上训练一个小型 GPT-2 模型吗？可以按照 这个 Jupyter Notebook 的步骤操作，或者下载这份 莎士比亚戏剧的文本文件，在终端中切换到该目录，打开 python3 控制台，然后执行以下操作：

from aitextgen.TokenDataset import TokenDataset
from aitextgen.tokenizers import train_tokenizer
from aitextgen.utils import GPT2ConfigCPU
from aitextgen import aitextgen

# 下载的莎士比亚文本文件名
file_name = "input.txt"

# 使用下载的文本训练自定义 BPE 分词器
# 这将保存一个文件：`aitextgen.tokenizer.json`，其中包含重建分词器所需的信息。
train_tokenizer(file_name)
tokenizer_file = "aitextgen.tokenizer.json"

# GPT2ConfigCPU 是一种专为 CPU 训练优化的 GPT-2 精简版本
# 例如，这里的输入标记数是 64，而标准 GPT-2 是 1024。
config = GPT2ConfigCPU()

# 使用创建的分词器和配置实例化 aitextgen
ai = aitextgen(tokenizer_file=tokenizer_file, config=config)

# 可以通过创建 TokenDataset 来构建训练数据集，
# 它会自动以合适的大小处理数据集。
data = TokenDataset(file_name, tokenizer_file=tokenizer_file，block_size=64)

# 开始训练模型！它会定期保存 pytorch_model.bin 文件，并在训练完成后将其保存到 `trained_model` 文件夹中。
# 在一台 2020 年款的 8 核 iMac 上，整个过程大约耗时 25 分钟。
ai.train(data, batch_size=8, num_steps=50000, generate_every=5000, save_every=5000)

# 用它生成文本！
ai.generate(10, prompt="罗密欧："）

# 使用你训练好的模型，你可以随时通过提供包含 pytorch_model.bin 模型权重的文件夹和配置文件，以及分词器，重新加载模型。
ai2 = aitextgen(model_folder="trained_model",
                tokenizer_file="aitextgen.tokenizer.json")

ai2.generate(10, prompt="罗密欧："）

如果你想运行 aitextgen 并对 GPT-2 进行微调，请使用“演示”部分中的 Colab 笔记本，或者参考 文档 获取更多信息和实用技巧！

已知问题

• 目前无法使用 TPU 训练模型：尽管你可以在适当的运行环境中设置 n_tpu_cores=8 来尝试在 TPU 上训练 aitextgen 模型，并且训练损失确实会下降，但仍然存在一些杂项阻碍问题。[GitHub 问题跟踪]

即将推出的功能

aitextgen 当前的版本（v0.5.X）被视为测试版，主要针对最常见的使用场景。迄今为止编写的笔记本和示例都经过测试，能够正常工作，但在接下来的几个月里，除了修复上述已知问题外，还将进一步完善文档和用例说明。

aitextgen 的后续版本（也是我最初开发这个包的原因之一）将原生支持 基于模式的生成。（请参阅 此仓库 以获取粗略的概念验证。）

此外，我还计划开发一个 aitextgen 的 SaaS 解决方案，使任何人都能在云端运行 aitextgen，并只需点击几下就能构建 API、Twitter+Slack+Discord 机器人。（主要限制在于计算成本；如果有风险投资家对资助此类服务感兴趣，请与我联系。）

更多暂定功能已列在 UPCOMING.md 文档中。

伦理

aitextgen 是一款主要用于辅助创作的工具，而非用于欺骗的工具。尽管模仿账号是该软件包的一个典型应用场景，但请务必在您生成的内容中尽可能透明地说明其生成方法。这包括：

• 明确声明文本是由 aitextgen 和/或 GPT-2 模型架构生成的。（如果能附上本仓库的链接就更好了！）
• 如果是在模仿某个人，请明确指出这是模仿作品，并说明模仿的对象是谁。
• 如果生成的文本经过人工筛选，或者完全是无监督的随机输出，也应予以说明。
• 标明谁在维护或编辑由 AI 生成的文本。
• 尽最大努力从生成的文本中移除与输入文本完全一致的过拟合内容。

将无名的“AI”拟人化为一位抽象的天才固然有趣，但我开发 aitextgen（以及我之前的其他文本生成项目）的原因之一，正是为了让这项技术更加普及，并准确展示其潜力与局限性。任何故意具有欺骗性的 AI 文本生成项目都可能被我本人否认。

维护者/创作者

Max Woolf (@minimaxir)

Max 的开源项目得到了他的 Patreon 和 GitHub Sponsors 的支持。如果您觉得这个项目对您有帮助，欢迎向 Patreon 捐款，您的每一份支持都将用于富有创意的用途。

许可证

MIT

aitextgen 快速上手指南

aitextgen 是一个强大的 Python 工具，基于 PyTorch、Hugging Face Transformers 和 pytorch-lightning 构建，专门用于 GPT-2 和 GPT Neo 架构的文本训练与生成。它是 textgenrnn 和 gpt-2-simple 的继任者，提供了更快的生成速度、更高的内存效率以及对多 GPU 训练的支持。

环境准备

• 操作系统：支持 Linux、macOS 和 Windows。
• Python 版本：建议 Python 3.7 或更高版本。
• 硬件要求：
  • CPU：可用于推理和小规模训练（示例中展示了 CPU 训练配置）。
  • GPU：推荐用于微调和大规模训练（支持 NVIDIA CUDA）。
  • 多 GPU/TPU：支持多 GPU 训练；TPU 支持目前处于实验阶段，存在已知问题，暂不推荐生产使用。
• 前置依赖：安装过程会自动处理 torch、transformers 和 pytorch-lightning 等依赖项。

国内加速提示：如果下载模型或依赖包速度较慢，建议配置国内镜像源。

• pip 镜像：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple ...
• HuggingFace 镜像：设置环境变量 export HF_ENDPOINT=https://hf-mirror.com

安装步骤

通过 PyPI 直接安装最新稳定版：

pip3 install aitextgen

若需使用国内镜像源加速安装：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple aitextgen

基本使用

1. 快速生成文本（使用预训练模型）

无需任何额外数据，即可下载并加载 OpenAI 的 124M GPT-2 "small" 模型进行文本生成。

Python 代码示例：

from aitextgen import aitextgen

# 初始化：自动下载、缓存并加载 124M GPT-2 模型
ai = aitextgen()

# 生成一段文本
ai.generate()

# 生成 3 段文本，每段最大长度 100 tokens
ai.generate(n=3, max_length=100)

# 基于提示词生成
ai.generate(n=3, prompt="I believe in unicorns because", max_length=100)

# 将生成的 10 段文本保存到文件，并调整温度参数增加多样性
ai.generate_to_file(n=10, prompt="I believe in unicorns because", max_length=100, temperature=1.2)

命令行示例：

aitextgen generate
aitextgen generate --prompt "I believe in unicorns because" --to_file False

2. 训练自己的微型模型（CPU/GPU 通用）

以下示例展示如何使用莎士比亚剧本数据集，在本地训练一个轻量级的 GPT-2 模型。

准备工作： 下载训练数据（莎士比亚剧本）：

wget https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt

训练代码示例：

from aitextgen.TokenDataset import TokenDataset
from aitextgen.tokenizers import train_tokenizer
from aitextgen.utils import GPT2ConfigCPU
from aitextgen import aitextgen

# 1. 指定训练数据文件
file_name = "input.txt"

# 2. 训练自定义 BPE Tokenizer
# 生成文件：aitextgen.tokenizer.json
train_tokenizer(file_name)
tokenizer_file = "aitextgen.tokenizer.json"

# 3. 加载针对 CPU 优化的迷你 GPT-2 配置
# 输入 token 数量设为 64 (默认为 1024)，适合快速测试
config = GPT2ConfigCPU()

# 4. 初始化 aitextgen 实例
ai = aitextgen(tokenizer_file=tokenizer_file, config=config)

# 5. 构建数据集
# block_size 需与 config 中的设置一致
data = TokenDataset(file_name, tokenizer_file=tokenizer_file, block_size=64)

# 6. 开始训练
# batch_size=8, 训练 50000 步，每 5000 步生成一次样本并保存模型
ai.train(data, batch_size=8, num_steps=50000, generate_every=5000, save_every=5000)

# 7. 使用训练好的模型生成文本
ai.generate(10, prompt="ROMEO:")

# 8. (可选) 重新加载已训练的模型
ai2 = aitextgen(model_folder="trained_model",
                tokenizer_file="aitextgen.tokenizer.json")

ai2.generate(10, prompt="ROMEO:")

注意：上述 CPU 训练示例在 2020 款 8 核 iMac 上约需 25 分钟。若有 GPU 环境，移除 GPT2ConfigCPU 配置即可利用 GPU 加速训练。