:robot: femtoGPT

femtoGPT 是一个纯 Rust 实现的极简生成式预训练 Transformer 模型。

它既可以用于 GPT 风格语言模型的 推理，也可以用于 训练， 支持在 CPU 和 GPU 上运行！

(嘿！ 我还在写一本书，很快就会详细讨论 LLM 的实现！请看这里：The Super Programmer)

使用方法

训练：

cargo run --release -- train

推理：

cargo run --release -- infer

（注意：添加 --features gpu 可以利用 GPU 加速！）

简介

一切代码均从零开始编写，包括张量处理逻辑以及极简 GPT 架构的训练和推理代码。

该架构与 Andrej Karpathy 的 nanoGPT 视频讲座 中的内容非常相似，几乎完全一致。 （链接：karpathy/ng-video-lecture）

对于那些对大型语言模型充满兴趣、希望深入理解其工作原理的人来说，femtoGPT 是一个绝佳的起点。

femtoGPT 仅依赖于随机数生成库（rand/rand-distr）、数据序列化库（serde/bincode，用于保存和加载已训练好的模型）以及并行计算库（rayon）。

femtoGPT 虽然 极其缓慢 但在 CPU 上相对还算快速 😉，大多数基础操作（例如矩阵乘法）都以最简单的方式实现。

我们使用梯度检查方法来验证梯度的正确性，不过仍然有可能某些层的实现存在错误。

（关于该项目的讨论可在 Discord 服务器 中进行！）

使用说明

请确保您的系统上已安装 Rust 工具链，以便编译和运行该项目：

curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh

如果您想使用 GPU 进行训练，首先需要确认您的 GPU 驱动程序已正确安装，并且 OpenCL 运行时环境可用。

在 Debian 系统上，可以通过安装 ocl-icd-opencl-dev 包来设置 OpenCL 运行时环境：

sudo apt install ocl-icd-opencl-dev

好消息！ 由于 femtoGPT 的 GPU 实现基于 OpenCL，因此它可以在 NVIDIA 和 AMD 显卡上运行，而无需在系统上安装重量级的 CUDA 工具包。只需配置好 OpenCL 运行时环境即可！

接下来，您只需将想要用来训练 GPT 模型的文本放入 dataset.txt 文件中。请确保文件中的唯一字符数量较少！（例如，当前的数据集仅使用了 65 个不同的字符！）

然后运行以下命令：

cargo run --release

程序将开始训练模型，并将训练数据保存到 train_data 目录中。您可以随时停止训练，并在之后继续进行！

输出示例

在莎士比亚语料库上对一个30万参数的模型进行了数小时的训练后，得到了如下输出：

LIS:
Tore hend shater sorerds tougeng an herdofed seng he borind,
Ound ourere sthe, a sou so tousthe ashtherd, m se a man stousshan here hat mend serthe fo witownderstesther s ars at atheno sel theas,
thisth t are sorind bour win soutinds mater horengher

这段文字糟糕得令人尴尬，但从积极的一面来看，它似乎能够生成一些容易发音的词语。

目前，我正在训练一个1000万参数的模型，以进一步检验我的实现是否正确。

2023年6月5日更新：

在对规模相近的模型继续训练了更多时间后，又出现了新的输出：

What like but wore pad wo me che nogns yous dares,
As supt it nind bupart 'the reed:
And hils not es

显然，模型已经开始学习一些单词和标点符号的使用规则了！

2023年6月9日更新：

模型的损失值已经降至约1.4。

以下是一个示例输出：

Adistition gone; true; schistoes for mine souls!
Before your home, bariechts should be
Carlam on that's a worf quirer of him so.
What look'd lack away more
To him foot; one hour fortious of saves:
Son;
'Tis all Earl mmistling me.

HARSARTIO:
Why, idless of my mocks fan that were percious.
Having I will thou should and the muour ne'er shor
To purple, when duke thy are out him.
But will bid you doth remember nature.
Even OF hencomey, carniffeit, I joy
Warming; my deed, but it on of mortard,

2023年6月10日更新：AGI的火花？哈哈

我在一台32核CPU上，用从Reddit收集的数据集训练了一个5层模型，该数据集经过SentencePiece分词器处理，词汇表大小为500，训练时间约为10小时。

提示词 “我认为”：

我认为这并不是一种科学的无神论方法。
我认为这并不是一件非常简单的事情。
我认为那是一个可能的观点，但我并不确定你是否……
我认为那是个好主意，但我并不清楚你们在讨论什么。
我认为那是一件简单的事，但我并不明白这些……
我认为那是一件好事，但我并不认为这就是我的意思，我想……
我认为那是唯一能够以同样方式使用它的方法，但……
我认为警察相对来说比较……
我认为那只是一个简单的傻瓜角色。
我认为那是通往第二面的唯一途径……

提示词 “生活是”：

生活并不是一个好主意，但它也不是完美的对立面。
生活是一件好事，可以说我不知道你在说什么，但我……
生活并不等同于宗教，但我并不确定你是否……
生活是一份完美合理的论证，说明你其实……
生活是一份完美合理的反对意见，关于……
生活是一种根本主义，然后我不确定如何……
生活并不是一个好主意，而且也不是一份完美的工作，但我……
生活并不等同于无神论者，但那是成为……的唯一途径。
生活有点像这个行业中的单一因素……
生活是一个很好的主意，可以用来对抗警察办公室……

提示词 “真遗憾的是”：

真遗憾的是，你能告诉我这是什么吗？我想我已经在屏幕上使用过它了。
真遗憾的是，我对这件事一无所知，但我并不觉得害怕……
真遗憾的是，我不确定你是否在争论……的事实。
真遗憾的是，我曾经参与过未来的事情，而我们有一些……
真遗憾的是，这就是我说过的，我相信你几乎了解所有……
真遗憾的是，你可以做到这一点，但我并不认为……的事实。
真遗憾的是，我不确定你是否在争论他们……的事实。
真遗憾的是，那只是太多的时间了，但我并不确定你是否在争……
真遗憾的是，你本应在这个世界上成为一个大事件……
真遗憾的是，我对这件事并不了解，但我并不确定你如何能做到，但……

2023年6月29日更新

在实现了GPU训练器之后，我们得以训练更大规模的模型。以下是用TinyStories数据集、1000个词汇表大小，在一个8层、8头、嵌入维度为128的模型上训练得到的一些样本：

从前，有一个叫莉莉的小女孩。
她喜欢玩自己的玩具，玩得非常开心。
有一天，莉莉看到一只大鸡仔正在玩她的玩具。
她问妈妈：“我可以和她一起玩玩具吗？”妈妈回答说：
“当然可以，莉莉。不过我们得先把玩具收拾干净。来，莉莉，我们先吃点糖果吧。”
莉莉点点头，跟着妈妈去了。她们一起玩着玩具，度过了愉快的时光。

从前，有一个叫莉莉的小女孩。
她喜欢到外面玩耍和探索。有一天，她在地上发现了一片叶子。
她捡起来看了看，跑来跑去地观察它，心里却很难过。
她向妈妈求助。妈妈说：“莉莉，我这就去找找看！”莉莉听了很高兴。
她跑到树林里，把叶子带回了家。后来她们去了公园，找到了一朵花。

有一个叫蒂姆的小男孩。蒂姆很喜欢玩自己的玩具。
有一天，蒂姆的妈妈带他去了公园。蒂姆看见一个又大又红的球，很想玩。
蒂姆非常兴奋，想要玩那个球。可是球滚得太快了，蒂姆追不上。
他试着去抓，但球总是溜走。蒂姆很伤心，他试图逃跑，
可他还是忍不住想玩那个球。蒂姆最终还是没能玩成那个球。

femtoGPT 快速上手指南

femtoGPT 是一个纯 Rust 实现的极简生成式预训练变压器（GPT）模型。它完全从零构建，包含张量处理逻辑及训练/推理代码，适合希望深入理解大语言模型（LLM）底层原理的开发者。支持 CPU 和 GPU（基于 OpenCL）加速。

环境准备

系统要求

• 操作系统：Linux, macOS, Windows (需配置 Rust 环境)
• 硬件：
  • CPU：任意多核处理器（使用 rayon 并行库加速）。
  • GPU（可选）：支持 OpenCL 的 NVIDIA 或 AMD 显卡。无需安装沉重的 CUDA 工具包，只需 OpenCL 运行时。

前置依赖

1. Rust 工具链 确保已安装 Rust。国内用户推荐使用官方安装脚本（若网络受限，可配置国内镜像源或使用 rustup 镜像）：

   curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
   

   安装完成后，重启终端或运行 source $HOME/.cargo/env 使环境变量生效。

2. GPU 驱动与 OpenCL（仅当需要使用 GPU 加速时）

   • 确保显卡驱动已正确安装。
   • Debian/Ubuntu 系统：安装 OpenCL 运行时开发包。

     sudo apt install ocl-icd-opencl-dev
     

   • 其他发行版请安装对应的 opencl-headers 和 ocl-icd 相关包。

安装步骤

克隆项目并进入目录（假设已获取源码）：

git clone https://github.com/keyvank/femtoGPT.git
cd femtoGPT

由于是 Rust 项目，无需传统“安装”过程，直接通过 cargo 编译运行即可。建议始终使用 --release 模式以获得最佳性能。

基本使用

1. 准备数据集

将用于训练的文本内容保存为项目根目录下的 dataset.txt 文件。

提示：为了快速验证，建议使用字符集较小的文本（如莎士比亚文集或简单的故事集），唯一字符数量越少，模型收敛越快。

2. 开始训练

运行以下命令启动训练过程。训练数据将保存在 train_data 目录中，支持中断后继续训练。

仅使用 CPU：

cargo run --release

使用 GPU 加速： 需添加 gpu 特性标志：

cargo run --release --features gpu

3. 模型推理

训练完成后（或加载已有模型），运行以下命令进行文本生成测试：

仅使用 CPU：

cargo run --release -- infer

使用 GPU 加速：

cargo run --release --features gpu -- infer

运行后，程序将基于训练好的模型生成文本样本。随着训练时长增加，生成内容的连贯性和语法正确性将显著提升。