PyTorch 深度教程

这是我编写的一系列深度教程，旨在帮助你使用强大的 PyTorch 库自行实现各种酷炫的深度学习模型。

本系列教程假定读者已具备 PyTorch 和神经网络的基础知识。

如果你是 PyTorch 的新手，请先阅读 用 PyTorch 进行深度学习：60 分钟速成 和 通过示例学习 PyTorch。

---

2023年4月24日：我刚刚完成了 超分辨率 和 Transformer 教程。

2023年12月9日：对国际象棋或 Transformer 感兴趣吗？不妨看看 Chess Transformers。

---

在每篇教程中，我们将聚焦于一个特定的应用场景或研究领域，通过实现一篇科研论文中的模型来深入探讨。

应用	论文	教程	同时学习的内容	状态
图像字幕生成	Show, Attend, and Tell	图像字幕生成的 PyTorch 教程	• 编码器-解码器架构 • 注意力机制 • 迁移学习 • 束搜索	🟢 已完成
序列标注	用任务感知型神经语言模型增强序列标注	序列标注的 PyTorch 教程	• 语言模型 • 字符级 RNN • 多任务学习 • 条件随机场 • Viterbi 解码 • 高速公路网络	🟢 已完成
目标检测	SSD：单次多框检测器	目标检测的 PyTorch 教程	• 单次检测 • 多尺度特征图 • 先验框 • 多框 • 硬负样本挖掘 • 非极大值抑制	🟢 已完成
文本分类	用于文档分类的层次化注意力网络	文本分类的 PyTorch 教程	• 层次化注意力	🟡 代码已完成
超分辨率	基于生成对抗网络的真实感单幅图像超分辨率	超分辨率的 PyTorch 教程	• GAN — 本教程同时也是 GAN 教程 • 残差连接 • 子像素卷积 • 知觉损失	🟢 已完成
机器翻译	注意力就是一切	Transformer 的 PyTorch 教程	• Transformer • 多头注意力 • 位置嵌入 • 编码器-解码器架构 • 字节对编码 • 束搜索	🟢 已完成
语义分割	SegFormer：一种简单高效的基于 Transformer 的语义分割设计	语义分割的 PyTorch 教程	无	🔴 计划中

Deep-Tutorials-for-PyTorch 快速上手指南

本指南旨在帮助开发者快速开始使用 Deep-Tutorials-for-PyTorch 系列教程。该仓库提供了一系列基于经典研究论文的深度学习模型实现教程，涵盖图像描述、目标检测、Transformer 等前沿领域。

注意：本系列教程假设您已具备 PyTorch 和神经网络的基础知识。如果是初学者，建议先阅读官方教程 Deep Learning with PyTorch: A 60 Minute Blitz。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python: 3.8 或更高版本
• PyTorch: 最新稳定版（推荐 1.10+）
• 硬件: 推荐使用支持 CUDA 的 NVIDIA GPU 以加速训练（可选，但强烈推荐）

前置依赖库： 大多数教程需要以下通用库，具体依赖请参考各子项目的 requirements.txt：

• torch & torchvision
• numpy
• Pillow (图像处理)
• matplotlib (可视化)
• tqdm (进度条)

安装步骤

由于每个教程（如图像描述、目标检测等）都是独立的仓库，您需要先选择感兴趣的具体教程进行克隆和安装。以下以通用的安装流程为例：

1. 创建虚拟环境（推荐）

python -m venv pytorch_tutorial_env
source pytorch_tutorial_env/bin/activate  # Windows 用户请使用: pytorch_tutorial_env\Scripts\activate

2. 安装 PyTorch

推荐使用国内镜像源（如清华源）加速安装。请访问 PyTorch 官网 获取适合您环境的命令，或使用以下通用命令（CUDA 11.8 示例）：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
# 若无需 GPU 支持：
# pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

3. 克隆具体教程仓库

根据您想学习的内容，克隆对应的子项目。例如，学习 图像描述 (Image Captioning)：

git clone https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Image-Captioning.git
cd a-PyTorch-Tutorial-to-Image-Captioning

其他热门教程地址：

• Transformers: git clone https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Transformers.git
• 目标检测 (SSD): git clone https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Object-Detection.git
• 超分辨率 (Super-Resolution): git clone https://github.com/sgrvinod/a-PyTorch-Tutorial-to-Super-Resolution.git

4. 安装项目依赖

进入目录后，安装该项目特定的依赖包（建议使用国内镜像加速）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

每个教程都包含了完整的数据下载、预处理、训练和评估脚本。以下以 图像描述 (Image Captioning) 教程为例，展示最简单的运行流程。

1. 准备数据

大多数教程提供了自动下载数据集的脚本。在项目根目录下运行：

python create_input_files.py

注：首次运行会自动下载 MSCOCO 数据集并处理成指定格式，可能需要较长时间。

2. 训练模型

使用默认参数开始训练模型：

python train.py

训练过程中会实时打印 Loss 值和验证集指标。模型检查点将保存在 checkpoints/ 目录中。

3. 评估与推理

训练完成后，您可以加载预训练模型对单张图片进行测试：

python evaluate.py --checkpoint checkpoints/BEST_checkpoint_coco_5_cap_per_img_5_min_word_freq.pth.tar --image img/test.jpg

或者运行交互式演示（如果项目支持）：

python caption_sample.py

---

提示：不同教程的具体脚本名称可能略有差异（如 train_ssd.py, train_transformer.py），请务必查阅对应仓库根目录下的 README.md 获取最准确的命令参数。