深度学习课程大纲

这是截至2022年7月的高级课程大纲，旨在帮助你快速掌握深度学习领域的最新进展。本课程大纲 heavily 倾向于我个人的研究兴趣，尤其是大型语言模型对齐方向，但也具有普遍参考价值。它面向具备扎实定量背景、熟悉深度学习基础知识，但可能刚接触该领域的人群。

警告：单独完成本课程可能会极具挑战性。强烈建议寻找一位经验丰富的导师，或至少一位学习伙伴。下方也提供了一些门槛较低的替代方案，它们同样需要满足相同的前置条件。

我无意持续更新本课程大纲，不过欢迎提交 PR，但我保留对内容筛选的权利，以避免其变得过于臃肿。

感谢 John Schulman 提供的一份较早的课程大纲，它启发了本课程，并且我在其中借鉴了不少内容。

前置预备知识

在开始学习深度学习之前，建议你对以下主题的最基础内容有较为熟练的掌握：

• 线性代数：理解向量和矩阵的基本运算至关重要，了解特征值和特征向量则会更有帮助。
• 概率论：掌握概率的基本规则、期望值和标准差是必需的；理解独立性以及正态分布也有助益。
• 微积分：理解导数和偏导数是必要的；掌握向量微积分的基础知识，包括链式法则和泰勒级数，将大有裨益。
• 编程：推荐熟悉 Python 和 NumPy。
• 可选补充：
  • 统计学：理解估计量和标准误差会很有帮助。
  • 信息论：了解信息量、熵和 KL 散度的概念也会有所帮助。

你并不需要对这些学科进行全面而深入的学习才能进入深度学习领域，但对基本概念的熟悉无疑会使你的学习过程更加顺畅。深入学习这些学科的好处在于，你会通过反复思考相关概念而自然地建立起这种熟悉感。

针对这些主题，有许多优质的学习资源可供选择。以下是一些建议：

• 3Blue1Brown 的 线性代数 和 微积分 视频系列——通俗易懂，聚焦核心要点。
• Coursera 机器学习数学课程——一门以机器学习为导向的数学课程。
• Python 数据科学与机器学习训练营——一门以机器学习为重点的 Python 课程。
• 《线性代数应该这样学》（Linear Algebra Done Right）——一本从第一性原理出发的线性代数教材，内容远超入门所需。
• Cover 和 Thomas 的《信息论基础》——一本经典的信息论教材，涵盖的内容同样超出入门需求。
• 《破解编码面试》——涵盖了实际编程中可能用到的计算机科学基础知识，并配有大量习题，同时对面试准备也很有帮助。
• LeetCode——专为面试准备设计的编程挑战平台，是提升通用编程能力的好方式。
• Project Euler——一系列难度递增的数学编程谜题，适合对数学感兴趣的学习者，以有趣的方式锻炼编程技能。
• 《学习 Shell》——Unix 命令行操作教程。

建议将大部分学习时间投入到练习中——数学方面做题，编程方面动手实现——因为这能迫使你真正去思考并内化所学内容。

前置条件

在开始本课程（或下方建议的替代方案）之前，你需要掌握深度学习的基础知识，包括机器学习的基本术语、什么是神经网络以及如何训练它们。以下是一些推荐的学习资源：

• 神经网络与深度学习——一本在线深度学习入门教材，侧重理论讲解，并配有不错的理论习题。
• 3Blue1Brown 的 神经网络专题——一系列以直观方式解释神经网络的视频。
• Coursera 机器学习课程——一门涵盖理论与实践的在线讲座系列，包含一些实践练习，但可能略显“填空式”。
• fast.ai 的 面向程序员的实用深度学习——一本注重实践的在线教材，配有大量实操练习。
• Full Stack Deep Learning——一门包含讲座和实验环节的在线深度学习课程。

此外，建议学习 PyTorch，并将其作为练习，用它来训练一个小型神经网络完成 MNIST 手写数字分类任务。使用三层卷积神经网络，你应该能够达到约 99% 的测试准确率。你还可以利用现有环境，尝试几种简单的正则化方法进行实验。

如何使用本课程

本课程共分为9个章节：

• 第1章：Transformer
• 第2章：规模法则
• 第3章：大规模训练
• 第4章：优化
• 第5章：建模目标
• 第6章：强化学习
• 第7章：对齐
• 第8章：可解释性
• 第9章：对抗训练

这些章节的重要性并不一定相等。对于一般学习者而言，其重要性排序大致为：1、6、2、7、4、8、9、3、5。

第1章有助于理解第2、3、8和9章的内容，而第6章也可能在一定程度上帮助理解第7章；除此之外，各章节可以按任意顺序学习。

若希望深入学习第7章，可用AGI安全基础的技术型AI对齐路径替代；若希望深入学习第8章，则可用开启Transformer机制可解释性的具体步骤替代。

每个章节包含三个部分：

• 推荐阅读：少量材料，涵盖该章节中最基础或最重要的内容。通常会单独选取某篇论文中的特定部分，其余内容无需通读。
• 可选阅读：与本章相关但并非核心的内容，可略读或直接跳过，日后作为参考。
• 建议练习：一个以实践为主的练习思路，旨在加深对该章节核心概念的理解。完成某种形式的练习往往比严格按照建议的练习来得更重要。

每个章节的学习时间约为半周至两周，具体时长取决于章节内容及深入程度，但即便耗时更久也不必气馁。

完成练习后，可在此处查看他人的解答：[Solutions.md]。欢迎通过提交PR的方式，在该页面添加您自己的解答链接。

在这一领域工作所需的另一项重要技能是软件工程，尤其是分布式系统和大型共享代码库的开发经验。提升这方面能力最常见的方式是积累专业经验，也可以通过参与开源项目来实现。为了掌握最佳实践，通常需要阅读他人的代码，并请他人审查自己的代码。

本课程的替代方案

本课程可能颇具挑战性，尤其是在缺乏导师指导的情况下。对大多数人而言，更为现实的选择是参与涉及深度学习的大型编程项目，或者研读更高级的教材或在线课程。这些方式更具吸引力、结构化且持续时间较长。缺点在于，它们可能不如本课程那样聚焦于最相关的主题。不过，您仍可在日后随时回到本课程继续学习。

我曾参与的一个大型编程项目是利用TD学习训练神经网络来玩【双陆棋】（GitHub链接），但您应选择自己真正感兴趣的课题。同时，为该项目及其相关实验撰写一份简短的总结报告也是不错的选择。

以下是一些教材推荐：

• Goodfellow等著《深度学习》——目前仍是最好的深度学习专业教材，尽管部分内容较为晦涩。该书未提供习题。
• Jared Kaplan为物理学家撰写的笔记——从较为理论化的角度出发，对深度学习进行了深入介绍。同样没有习题。
• Sutton & Barto《强化学习导论》——一本基于基本原理的优秀强化学习入门书籍，附有习题。
• Murphy《机器学习：概率视角》、Bishop《模式识别与机器学习》以及ESL《统计学习要素》——经典的机器学习教材。这些书籍涵盖了大量与深度学习关联不大的内容，但有助于拓宽视野，且习题丰富。总体而言，它们并非我的首选，但在某些情况下仍具参考价值。

此外，还有一些更高级的在线课程可供参考：

• deeplearning.ai推出的深度学习专项课程——这是上述Coursera机器学习课程的大幅扩展版。
• Udacity深度学习纳米学位课程——另一门较长时间的深度学习课程。
• 阿尔伯塔大学Coursera强化学习课程——基于Sutton & Barto教材的强化学习课程。

补充建议

以下是一些基于个人经验的零散看法，仅供参考。一份带有主观色彩的机器学习研究指南 也值得一读。若想了解如何从事技术性的人工智能对齐相关职业，我推荐 这份指南。

我在整页内容中都强调了练习的重要性，因为与被动式学习不同，练习能够迫使你深入思考并理清思路。根据我的经验，这一点在接触陌生领域时尤为重要。一旦你在某个领域积累了足够的经验，即便只见过或听过一次的内容，也会更容易被记住——这是因为它已经融入了你现有的知识网络之中。

要保持高效，身心健康至关重要。除此之外，内在动机是无可替代的。一些提高效率的小技巧在不得不完成繁重任务时或许有用，但其作用终究有限。内在动机既可以来自对项目的高层次热情，也可以源于低层次的“心流”状态（编程时尤其常见）。当你的主要目标只是学习新东西、具体做什么并不太重要时，不妨选择那些能激发你内在动力的事物，因为这是取得卓越成果最简单的方式。然而，令人兴奋的领域并不总是最重要的；从长远来看，你仍需通过深入了解重要议题来培养对它们的兴趣与热情。

纵向整合往往非常有效，因为抽象层通常存在泄漏效应。最顶尖的研究者往往对其整个研究链条都有深刻理解，从各类基准测试的细节到 GPU 缓存的具体机制，无所不包。尤其是在职业生涯早期，尽可能多地学习所有相关知识，往往比仅仅专注于眼前所需更为明智。

作为上述原则的一个重要特例：如果你想通过自己的研究对世界产生积极影响，我强烈建议你在学习过程中就思考如何以最佳方式实现这一目标。选择合适的课题，其重要性甚至可能不亚于执行的质量——即便你最终将大部分时间花在后者上。此外，在这类问题上一味依赖他人并不足够，因为你的高层次动机会影响低层次的决策；更何况，他人的判断也可能出错，或者难以理解。

我个人认为，在接下来的几十年里，人工智能对世界的影响将远远超过当前水平，而这种潜在的巨大影响足以超越当下问题的紧迫性和可解决性（尽管我也看到这两类问题之间存在许多共通之处）。如需进一步探讨这一观点，我推荐 Cold Takes 的“最重要的一百年”系列文章：冷思考：“最重要的一百年”系列。过去还有一份名为《对齐简报》的通讯（Alignment Newsletter），对于及时了解相关研究动态很有帮助，不过目前已暂停更新。

Deep Learning Curriculum 快速上手指南

deep_learning_curriculum 并非一个可安装的软件包或框架，而是一份高级深度学习课程大纲（截至 2022 年 7 月）。它旨在引导具备定量背景的开发者深入理解大语言模型对齐、Transformer 架构等前沿技术。本指南将帮助你配置学习环境并开始按照大纲进行学习。

环境准备

在开始本课程之前，你需要具备扎实的数学基础（线性代数、概率论、微积分）并熟悉 Python 编程。以下是运行课程中建议练习所需的系统环境和依赖。

系统要求

• 操作系统: Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本: 3.8 或更高
• 硬件: 建议使用支持 CUDA 的 NVIDIA GPU 以加速模型训练实验（如 MNIST 分类、Transformer 复现）

前置依赖

核心依赖包括 PyTorch（课程推荐框架）、NumPy 以及用于阅读和运行代码示例的通用工具。

# 检查 Python 版本
python --version

# 检查 pip 版本
pip --version

安装步骤

由于这是一个学习大纲而非单一工具，"安装"过程实际上是搭建一个适合进行深度学习实验的开发环境。推荐使用国内镜像源加速安装。

1. 创建虚拟环境

建议使用 conda 或 venv 隔离环境。

# 使用 conda 创建环境 (推荐)
conda create -n dl_curriculum python=3.9
conda activate dl_curriculum

# 或者使用 venv
python -m venv dl_curriculum
source dl_curriculum/bin/activate  # Linux/macOS
# dl_curriculum\Scripts\activate   # Windows

2. 安装深度学习框架

课程强烈建议使用 PyTorch。以下命令使用清华大学开源软件镜像站加速安装。

# 安装 PyTorch (CPU 版本，适合入门)
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装 PyTorch (GPU 版本，需根据实际 CUDA 版本调整，以下为 CUDA 11.8 示例)
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装其他常用数据科学库
pip install numpy matplotlib jupyterlab tqdm -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 获取课程资料

克隆课程仓库以获取详细的章节阅读材料和练习建议。

git clone https://github.com/jacobhilton/deep_learning_curriculum.git
cd deep_learning_curriculum

基本使用

本课程的使用方式是按章节阅读推荐论文并完成编程练习。以下是基于课程 "Prerequisites" 部分的最简单入门示例：使用 PyTorch 训练一个神经网络完成 MNIST 手写数字分类。

1. 启动开发环境

进入课程目录并启动 Jupyter Lab 以便交互式学习。

jupyter lab

2. 基础练习示例 (MNIST 分类)

在 Jupyter Notebook 中新建文件，运行以下代码验证环境并完成任务目标（达到约 99% 的测试准确率）。

import torch
import torch.nn as nn
import torch.optim as optim
from torchvision import datasets, transforms
from torch.utils.data import DataLoader

# 1. 数据预处理与加载
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))])
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform)

train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=1000, shuffle=False)

# 2. 定义简单的卷积神经网络 (CNN)
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        self.conv1 = nn.Conv2d(1, 32, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1)
        self.fc1 = nn.Linear(64 * 7 * 7, 128)
        self.fc2 = nn.Linear(128, 10)
        self.relu = nn.ReLU()
        self.pool = nn.MaxPool2d(2, 2)

    def forward(self, x):
        x = self.pool(self.relu(self.conv1(x)))
        x = self.pool(self.relu(self.conv2(x)))
        x = x.view(-1, 64 * 7 * 7)
        x = self.relu(self.fc1(x))
        return self.fc2(x)

model = SimpleCNN()
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 3. 训练循环
def train(epoch):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        optimizer.zero_grad()
        output = model(data)
        loss = criterion(output, target)
        loss.backward()
        optimizer.step()

# 4. 测试循环
def test():
    model.eval()
    correct = 0
    with torch.no_grad():
        for data, target in test_loader:
            output = model(data)
            pred = output.argmax(dim=1, keepdim=True)
            correct += pred.eq(target.view_as(pred)).sum().item()
    
    accuracy = 100. * correct / len(test_loader.dataset)
    print(f'Test Accuracy: {correct}/{len(test_loader.dataset)} ({accuracy:.2f}%)')

# 执行训练与测试
for epoch in range(1, 4):  # 训练 3 个 epoch
    train(epoch)
    test()

3. 进阶学习路径

完成上述基础验证后，请按照仓库中的 README.md 指引，依次深入学习以下核心章节：

1. Transformers: 理解现代大模型的基础架构。
2. Scaling Laws: 学习模型规模与性能的关系。
3. Alignment: 深入研究大语言模型的对齐技术（课程重点）。

你可以随时参考仓库中的 Solutions.md 查看其他人完成的练习方案，并通过提交 PR 分享你自己的代码实现。