PicoGPT

配套博文：用60行NumPy实现GPT

---

你见过 openai/gpt-2。

你见过 karpathy/minGPT。

你甚至见过 karpathy/nanoGPT！

但是，你见过 picoGPT 吗??!?

picoGPT 是一个过度精简、极小的 GPT-2 实现，完全使用原生 NumPy 编写。整个前向传播代码只有 40行。

picoGPT 的特点：

• 快吗？❌ 不，picoGPT 巨慢 🐌
• 有训练代码吗？❌ 错误，4️⃣0️⃣4️⃣ 未找到
• 支持批量推理吗？❌ picoGPT 很“文明”，一次只处理一行输入
• top-p 采样？❌ top-k？❌ 温度调节？❌ 分类采样？❌ 贪心策略？✅
• 易读吗？gpt2.py ✅ gpt2_pico.py ❌
• 小吗？✅✅✅✅✅✅ 是的！！！ 确实超级小巧 🤏

各文件的简要说明：

• encoder.py 包含 OpenAI 的 BPE 分词器代码，直接取自他们的 gpt-2 仓库。
• utils.py 包含下载和加载 GPT-2 模型权重、分词器及超参数的代码。
• gpt2.py 包含实际的 GPT 模型及生成代码，可以直接作为 Python 脚本运行。
• gpt2_pico.py 和 gpt2.py 功能相同，但代码量更少。为什么？因为为什么不呢 😎👍。

依赖

pip install -r requirements.txt

已在 Python 3.9.10 上测试通过。

使用方法

python gpt2.py "艾伦·图灵曾理论认为，计算机终有一天会成为"

输出结果为：

地球上最强大的机器。

计算机是一种能够执行复杂计算的机器，它的计算方式与人类大脑非常相似。

你还可以控制生成的 token 数量、模型大小（可选 "124M", "355M", "774M", "1558M" 中的一个）以及保存模型的目录：

python gpt2.py \
    "艾伦·图灵曾理论认为，计算机终有一天会成为" \
    --n_tokens_to_generate 40 \
    --model_size "124M" \
    --models_dir "models"

picoGPT 快速上手指南

picoGPT 是一个极简的 GPT-2 实现，仅使用 NumPy 编写。其核心前向传播代码仅有 40 行，旨在通过极度精简的代码帮助开发者理解 GPT 架构原理。请注意，该项目专注于教学演示，推理速度较慢且不支持训练。

环境准备

• 操作系统：Linux / macOS / Windows
• Python 版本：推荐 Python 3.9.10 或更高版本
• 前置依赖：
  • numpy
  • requests
  • tqdm

国内加速建议：安装依赖时建议使用清华或阿里镜像源以提升下载速度。

安装步骤

1. 克隆项目代码（如果尚未获取）：

   git clone https://github.com/jaymody/picoGPT.git
   cd picoGPT
   

2. 安装所需依赖包：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

1. 快速生成文本

运行以下命令，模型将自动下载权重并基于提示词生成文本：

python gpt2.py "Alan Turing theorized that computers would one day become"

预期输出示例：

 the most powerful machines on the planet.

The computer is a machine that can perform complex calculations, and it can perform these calculations in a way that is very similar to the human brain.

2. 自定义参数

您可以指定生成的 token 数量、模型大小以及模型存储目录：

python gpt2.py \
    "Alan Turing theorized that computers would one day become" \
    --n_tokens_to_generate 40 \
    --model_size "124M" \
    --models_dir "models"

参数说明：

• --n_tokens_to_generate: 生成 token 的数量。
• --model_size: 模型规模，可选值为 ["124M", "355M", "774M", "1558M"]。
• --models_dir: 模型权重保存目录（首次运行时会自动下载）。