gpt-go

纯 Go 语言实现的简单 GPT 模型。基于儒勒·凡尔纳的经典作品进行训练。

模型可能会生成如下响应：

神秘岛。
嗯。
我的日子必须遵循

或者这样：

尼摩船长，在二十万英尺的高度，厌倦了
世界的生存。

如何运行

$ go run .

在 MacBook Air M3 上训练大约需要 40 分钟。训练好的权重将保存到 model-1.234M 文件中。如果再次运行模型，它会加载已保存的权重并继续训练。每次训练的损失值都应有所下降，这表明模型正在学习有用的信息。

你可以通过将 data.dataset 变量指向自己的文本语料库来使用自定义数据集进行训练。

训练完成后，若要以仅聊天模式运行：

$ go run . -chat

如何理解

你可以将此仓库作为 神经网络：从零到英雄 课程的配套资源。使用 git checkout <tag> 命令查看模型随时间演进的不同版本：naive、bigram、multihead、block、residual、full。

在 main_test.go 中，你会找到从基础神经元示例开始的解释：

// 我们的神经元有 2 个输入和 1 个输出（即权重矩阵的列数）。
// 它的目标是预测序列中的下一个数字。
input := V{1, 2} // {x1, x2}
weight := M{
    {2}, // x1 对输出的贡献程度
    {3}, // x2 对输出的贡献程度
}

一直到自注意力机制：

// 为了计算所有先前标记的总和，我们可以乘以这个下三角矩阵：
tril := M{
    {1, 0, 0, 0}, // 第一个标记只关注自己（“猫”），不能看到未来
    {1, 1, 0, 0}, // 第二个标记关注自己和前一个标记（“猫” + “，”）
    {1, 1, 1, 0}, // 第三个标记关注自己和前两个标记（“猫” + “，” + “狗”）
    {1, 1, 1, 1}, // 第四个标记关注自己和所有之前的标记（“猫” + “，” + “狗” + “和”）
}.Var()
// 因此，在这一点上，每个嵌入都包含了所有先前标记的信息。
// 这就是自注意力的核心所在。
enrichedEmbeds := MatMul(tril, inputEmbeds)

设计选择

无批次处理。
为了更好地理解，我放弃了批次维度的复杂性。使用 2D 矩阵构建直觉比使用 3D 张量容易得多。此外，批次并不是 Transformer 架构的本质特征。为了更好地平滑梯度，曾尝试过梯度累积，但效果微乎其微，因此也被移除了。

移除了 gonum。
gonum.matmul 曾使性能提升约 30%，但它引入了额外的依赖。我们在这里追求的不是最高效率，而是极致的简洁。目前的矩阵乘法实现已经相当高效，而且只有 40 行易于阅读的代码。

论文

你不需要阅读这些论文就能理解代码 :)

Attention Is All You Need
深度残差学习
DeepMind WaveNet
批归一化
深度神经网络 + 大规模数据 = 突破性性能
OpenAI GPT-3 论文
分析注意力结构

致谢

非常感谢 Andrej Karpathy 提供的精彩 神经网络：从零到英雄 课程。

也感谢 @itsubaki 提供的优雅 autograd 包。

gpt-go 快速上手指南

gpt-go 是一个使用纯 Go 语言实现的简易 GPT 模型，专为教育目的设计。它基于儒勒·凡尔纳的著作进行训练，代码结构清晰，是学习 Neural Networks: Zero to Hero 课程的绝佳配套项目。

环境准备

• 操作系统：macOS, Linux, Windows (支持 Go 运行的平台均可)
• 前置依赖：
  • 已安装 Go (建议版本 1.20+)
  • 无需额外第三方库（项目移除了 gonum 等依赖，追求极致简洁）
• 硬件建议：虽然可在任意设备运行，但完整训练需要一定时间。在 MacBook Air M3 上约需 40 分钟。

安装步骤

本项目无需复杂的安装过程，直接克隆仓库即可使用。

git clone https://github.com/zakirullin/gpt-go.git
cd gpt-go

提示：如果在国内访问 GitHub 较慢，可使用镜像加速：

git clone https://ghp.ci/https://github.com/zakirullin/gpt-go.git
cd gpt-go

基本使用

1. 运行并训练模型

执行以下命令启动程序。首次运行时，模型将开始训练（默认使用内置的儒勒·凡尔纳数据集）。

$ go run .

• 训练过程：在 MacBook Air M3 上大约需要 40 分钟。
• 断点续训：训练权重会自动保存为 model-1.234M 文件。若中途停止或再次运行，程序会自动加载已有权重继续训练。
• 观察指标：每次运行时损失值（loss）应逐渐下降，表明模型正在学习。

自定义数据集： 若想使用自己的文本数据进行训练，只需在代码中将 data.dataset 变量指向你的文本语料库路径即可。

2. 聊天模式

当训练完成（或加载已有权重后），可以使用聊天模式与模型交互：

$ go run . -chat

此时模型将基于已学到的知识生成回复，例如：

Mysterious Island.
Well.
My days must follow

3. 学习与探索

本项目非常适合配合 Andrej Karpathy 的深度学习课程学习。你可以通过切换 Git 标签来查看模型从简单到复杂的演进过程：

git checkout naive      # 最基础的实现
git checkout bigram     # 双字模型
git checkout multihead  # 多头注意力
git checkout block      # 块处理
git checkout residual   # 残差连接
git checkout full       # 完整 Transformer 架构

此外，查看 main_test.go 文件可以获得从基础神经元到自注意力机制（Self-Attention）的详细代码注释讲解。