UvA 深度学习教程

注：若想以更美观的格式查看这些笔记本，请访问我们的 RTD 网站：https://uvadlc-notebooks.readthedocs.io/en/latest/

课程网站: https://uvadlc.github.io/
课程版本: 2024 年秋季（10月28日—12月20日）——持续更新
录像: YouTube 播放列表
作者: Phillip Lippe

针对今年的课程版本，我们创建了一系列 Jupyter 笔记本，旨在通过对应的实现代码帮助你更好地理解课堂讲授的“理论”。我们将涵盖优化技术、Transformer、图神经网络等多个主题（完整列表见下文）。这些笔记本不仅有助于你理解课程内容，还会深入讲解 PyTorch 框架，包括 PyTorch Lightning。此外，我们还提供了这些笔记本的 JAX+Flax 对应版本，作为另一种框架的选择。

每个小组辅导课的第一小时都会展示这些笔记本。在辅导过程中，我们会讲解内容并剖析笔记本中的实现细节。你可以自行决定是仅浏览已完成的笔记本、亲自尝试，还是在实践环节中跟随代码一起编写。这些笔记本并不直接属于任何需要评分的必做作业或其他类似任务。不过，我们鼓励你熟悉这些笔记本，并自行进行实验或扩展。此外，其中的内容也将与评分作业和考试相关。

这些教程已被整合为 PyTorch Lightning 的官方教程。因此，你也可以在他们的文档中查看：PyTorch Lightning 文档。

如何运行这些笔记本

在本网站上，我们已将笔记本导出为 HTML 格式，方便你在任何设备上阅读。然而，我们仍建议你亲自尝试运行它们。以下是三种推荐的运行方式：

• 本地 CPU 运行：所有笔记本都存储在构建此网站的 GitHub 仓库中。你可以在以下链接找到它们：https://github.com/phlippe/uvadlc_notebooks/tree/master/docs/tutorial_notebooks。这些笔记本的设计使得你无需 GPU 即可在普通笔记本电脑上运行。我们提供了预训练模型，这些模型会在运行笔记本时自动下载，或者你也可以从这个 Google Drive 手动下载。预训练模型和数据集所需的磁盘空间不足 1GB。为了确保你安装了所有必要的 Python 包，我们在同一仓库中提供了一个 conda 环境（根据你的系统选择 CPU 或 GPU 版本）。

• Google Colab：如果你希望在不同于自己电脑的平台上运行笔记本，或者想尝试使用 GPU 支持，我们推荐使用 Google Colab。本文档网站上的每个笔记本都配有可打开 Google Colab 的按钮。请记得在运行笔记本前启用 GPU 支持（“Runtime -> Change runtime type”）。每个笔记本可以独立运行，无需连接你的 Google Drive 或其他服务。不过，关闭会话后，若未保存到本地或提前复制到 Google Drive，更改可能会丢失。

• Snellius 集群：如果你想基于这些笔记本训练自己的（较大规模的）神经网络，可以使用 Snellius 集群。但仅当你要真正训练新模型时才建议这样做；对于模型的讨论和分析，可以先使用前两种方法。Snellius 可能不允许你以学生账号直接在 gpu_shared 分区上运行 Jupyter 笔记本。你可以先使用 jupyter nbconvert --to script ...ipynb 将笔记本转换为脚本，然后在 Snellius 上提交作业来运行该脚本。在 Snellius 上运行时，请注意以下几点：

  • 禁用笔记本中的 tqdm 输出语句。否则，你的 slurm 输出文件可能会变得非常大，达到几 MB。在 PyTorch Lightning 中，可以通过在 trainer 中设置 progress_bar_refresh_rate=0 来实现。
  • 注释掉 matplotlib 绘图语句，或将 plt.show() 替换为 plt.savefig(...)。

辅导课与讲座的对应关系

我们将在课程中讲解 7 个辅导课，分散在不同的讲座中，以覆盖各个领域的内容。你可以根据主题将辅导课与讲座对应起来。辅导课列表如下：

• 指南 1：使用 Snellius 集群
• 辅导课 2：PyTorch 入门
• 辅导课 3：激活函数
• 辅导课 4：优化与初始化
• 辅导课 5：Inception、ResNet 和 DenseNet
• 辅导课 6：Transformer 和多头注意力机制
• 辅导课 7：图神经网络
• 辅导课 8：深度能量模型
• 辅导课 9：自编码器
• 辅导课 10：对抗攻击
• 辅导课 11：用于图像建模的归一化流
• 辅导课 12：自回归图像建模
• 辅导课 15：视觉 Transformer
• 辅导课 16：元学习——学会学习
• 辅导课 17：基于 SimCLR 的自监督对比学习

反馈、问题或贡献

这是我们首次在深度学习课程中推出这些辅导课。如同任何项目一样，难免会出现一些小 bug 和问题。我们非常欢迎同学们的反馈，无论是拼写错误、实现问题，还是对笔记本改进或补充的建议。请使用以下 链接 提交反馈，或者直接通过邮件 (p dot lippe at uva dot nl) 联系我，亦可在任何助教答疑时段找我交流。

如果你觉得这些辅导课很有帮助，并希望引用它们，可以使用以下 BibTeX 格式：

@misc{lippe2024uvadlc,
   title        = {{UvA Deep Learning Tutorials}},
   author       = {Phillip Lippe},
   year         = 2024,
   howpublished = {\url{https://uvadlc-notebooks.readthedocs.io/en/latest/}}
}

uvadlc_notebooks 快速上手指南

UvA Deep Learning Tutorials 是阿姆斯特丹大学（UvA）推出的深度学习教程系列，通过 Jupyter Notebook 形式结合理论讲解与代码实现，涵盖优化技术、Transformer、图神经网络等前沿主题。本教程基于 PyTorch 和 PyTorch Lightning 构建，并提供 JAX+Flax 版本作为替代方案。

环境准备

系统要求

• 操作系统：Windows / macOS / Linux
• 硬件：普通笔记本电脑即可运行（CPU 模式）；若需加速训练或运行大型模型，建议使用支持 CUDA 的 GPU。
• 存储空间：预训练模型和数据集总共占用小于 1GB。

前置依赖

• Python 3.8+
• Conda（推荐用于管理环境）
• Git（用于克隆仓库）

💡 提示：国内用户可使用清华或中科大镜像源加速 Conda 和 pip 包下载。

安装步骤

方法一：本地运行（推荐初学者）

1. 克隆项目仓库：

git clone https://github.com/phlippe/uvadlc_notebooks.git
cd uvadlc_notebooks

2. 创建并激活 Conda 环境（根据是否使用 GPU 选择对应文件）：

# CPU 版本
conda env create -f environment_cpu.yml
conda activate uvadlc_cpu

# 或 GPU 版本（需已安装 NVIDIA 驱动和 CUDA）
conda env create -f environment_gpu.yml
conda activate uvadlc_gpu

3. （可选）手动下载预训练模型（如自动下载失败）： 访问 Google Drive 链接 下载所需文件至指定目录。

方法二：Google Colab 在线运行

无需本地安装，直接点击文档页面中的 "Open in Colab" 徽章即可在浏览器中运行。记得启用 GPU：

• 菜单栏选择 Runtime → Change runtime type → 设置 Hardware accelerator 为 GPU。

方法三：Snellius 集群（高级用户）

适用于需要训练大规模模型的场景。需将 Notebook 转为脚本后提交作业：

jupyter nbconvert --to script your_notebook.ipynb
sbatch run_script.sh

注意：请禁用 tqdm 进度条（设置 progress_bar_refresh_rate=0），并将 plt.show() 改为 plt.savefig(...) 以避免输出溢出。

基本使用

1. 启动 Jupyter Notebook：

jupyter notebook docs/tutorial_notebooks

2. 打开任意教程笔记本，例如：

• Tutorial_2_Introduction_to_PyTorch.ipynb
• Tutorial_6_Transformers_and_Multi-Head_Attention.ipynb

3. 按顺序执行单元格，可边学边改代码进行实验。所有 Notebook 均可独立运行，无需额外配置。

4. 尝试修改网络结构、超参数或添加新层，深入理解模型原理。

📚 教程列表涵盖从 PyTorch 基础到自监督学习、元学习等高级主题，建议配合课程视频（YouTube 播放列表）一起学习。