从张量到 Stable Diffusion

灵感源自 From the Transistor。

机器学习很难，许多教程难以跟上，而且很难从第一性原理理解 软件 2.0。

想成为一名机器学习工程师吗？那么，要在这方面变得出色，可以按照以下步骤：

1. 下载一篇论文
2. 实现它
3. 不断重复这个过程，直到你掌握相关技能

—— George Hotz

第一节：导论——绕过张量的捷径——1周

• 那些张量到底是什么——课程概述。介绍如何使用张量构建深度学习模型，以及 CNN 和 RNN 等不同架构如何以不同方式利用张量。理解反向传播和梯度下降的概念。 [视频]

第二节：深度学习——到底什么是深度学习？——1周

• 构建一个简单的神经网络——你的第一个小程序！让模型运行起来，并学习深度学习的基础知识。 [代码] [视频]

• 构建一个简单的 CNN——深度学习入门章节，学习如何构建一个简单的 CNN，并理解卷积与池化的概念。 [代码] [视频]

• 构建一个简单的 RNN——学习循环神经网络的基础知识，理解其“记忆”机制，即如何存储先前输入的状态。 [代码] [视频]

第三节：实现论文（第一部分）：视觉模型——3周

• 实现 LeNet——了解 LeNet 架构及其应用。 [代码] [论文]

• 实现 AlexNet——学习如何实现 AlexNet 用于图像分类任务。 [代码] [论文]

• 实现 ResNet——学习如何实现 ResNet 用于图像分类任务。 [代码] [论文]

• 构建 DCGAN——学习如何构建 DCGAN 及对抗训练的概念。 [代码] [论文]

第四节：实现论文（第二部分）：语言模型——3周

• 实现 GRU 和 LSTM——了解 LSTM 和 GRU 单元的概念。 [代码] [论文]

• 实现 CBOW 和 Skip-Gram——了解 word2vec 架构及其应用。 [代码] [论文]

• 构建 Transformer——学习 Transformer 架构及其应用。 [代码] [论文]

• 微调 BERT——了解 BERT 架构及如何对预训练模型进行微调。 [代码] [论文]

• 使用 GPT2 进行推理——了解 GPT2 架构，并探索文本生成策略。 [代码] [论文]

第五节：实现论文（第三部分）：视觉-语言模型——1周

• 构建 Stable Diffusion 模型——了解 Stable Diffusion 架构及其在图像生成任务中的应用。 [代码] [论文]

超越张量

当人们问我如何才能成为更优秀的机器学习工程师时，我总是建议他们不要再专注于学习机器学习本身，而是去学习系统相关知识。

—— @yoobinray

更多想法请参阅 ideas.md。

fromthetensor 快速上手指南

fromthetensor 是一个从零开始构建深度学习模型的学习项目，灵感来源于 "From the Transistor"。它旨在通过亲手实现经典论文（从简单的神经网络到 Stable Diffusion），帮助开发者深入理解机器学习的第一性原理。

环境准备

本项目主要基于 Python 和 Jupyter Notebook 进行教学，建议在本地或云端环境中运行。

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.8 或更高版本
• 核心依赖：
  • PyTorch (用于张量运算和模型构建)
  • Jupyter Lab 或 Jupyter Notebook (用于运行示例代码)
  • Matplotlib, Numpy, Pillow 等基础数据科学库
• 硬件要求：
  • 基础章节（CNN, RNN）：普通 CPU 即可运行。
  • 进阶章节（Transformer, Stable Diffusion）：强烈建议使用支持 CUDA 的 NVIDIA GPU 以加速训练和推理。

提示：如果你没有本地 GPU 环境，推荐使用 Google Colab 或国内的 AI 开发平台（如百度飞桨 AI Studio、阿里云 PAI-DSW 等）直接导入 .ipynb 文件运行。

安装步骤

1. 克隆项目仓库

首先将项目代码下载到本地：

git clone https://github.com/jla524/fromthetensor.git
cd fromthetensor

2. 创建虚拟环境并安装依赖

推荐使用 conda 或 venv 隔离环境。以下以 pip 为例：

# 创建虚拟环境
python -m venv venv

# 激活环境 (Windows)
venv\Scripts\activate
# 激活环境 (macOS/Linux)
source venv/bin/activate

# 安装 PyTorch (根据是否使用 CUDA 选择对应命令)
# 若需国内加速，可使用清华源：
pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他必要依赖
pip install jupyterlab matplotlib numpy pillow tqdm

3. 启动 Jupyter Lab

安装完成后，启动交互式开发环境：

jupyter lab

浏览器会自动打开，导航至 examples/ 目录即可看到所有教程笔记。

基本使用

本项目的核心学习方式是阅读并运行 Notebook 代码。每个章节都包含独立的 .ipynb 文件，按顺序执行单元格即可复现模型构建过程。

最简单的示例：运行 MNIST 手写数字识别

这是入门的第一个实践，位于 Section 2。

1. 在 Jupyter Lab 中打开 examples/mnist_from_scratch.ipynb。
2. 该脚本将从零构建一个简单的神经网络，无需调用高级封装 API。
3. 点击菜单栏的 Kernel -> Restart & Run All 依次执行所有代码块。

你将看到类似以下的输出，表示模型正在训练并学习识别数字：

Epoch 1, Loss: 2.3045
Epoch 2, Loss: 0.9821
...
Epoch 10, Loss: 0.1543
Test Accuracy: 97.5%

学习路径建议

按照 README 定义的五个阶段循序渐进：

1. 基础概念：观看视频并理解张量与反向传播。
2. 动手实践：依次运行 mnist_from_scratch.ipynb, cnn.ipynb, rnn.ipynb。
3. 复现论文：挑战经典架构，如 lenet.ipynb, resnet.ipynb, transformer.ipynb。
4. 终极目标：运行 stable_diffusion.ipynb，从零理解图像生成模型。

注意：部分大型模型（如 BERT, GPT-2, Stable Diffusion）的代码可能需要下载预训练权重或较大的数据集，请确保网络连接通畅，或在代码中配置国内镜像源地址。