深入浅出PyTorch

[!IMPORTANT] 在线阅读地址 | 配套视频教程 | 智海（国家级AI科教平台）

请注意：在线文档更新落后于主仓库更新，建议看source文件夹下的markdown文件

一、项目初衷

PyTorch是利用深度学习（Deep Learning）进行数据科学研究的重要工具，在灵活性、可读性和性能上都具备相当的优势，近年来已成为学术界实现深度学习算法最常用的框架。

考虑到PyTorch的学习兼具理论储备和动手训练，两手都要抓两手都要硬的特点，我们开发了《深入浅出PyTorch》课程，期望以组队学习的形式，帮助大家从入门到熟练掌握PyTorch工具，进而实现自己的深度学习算法。

我们的愿景是：通过组队学习，大家能够掌握由浅入深地PyTorch的基本知识和内容，经过自己的动手实践加深操作的熟练度。同时通过项目实战，充分锻炼编程能力，掌握PyTorch进行深度学习的基本流程，提升解决实际问题的能力。

学习的先修要求是，会使用Python编程，了解包括神经网络（Neural Network）在内的机器学习（Machine Learning）算法，勤于动手实践。

《深入浅出PyTorch》是一个系列，一共有三个部分。已经上线的是本系列的第一、二部分，后续会不断更新《深入浅出PyTorch》（下），给出更贴合实际应用的实战案例。

二、内容简介

• 第零章：前置知识（选学）
  • 人工智能简史
  • 相关评价指标
  • 常用包的学习
  • Jupyter相关操作
• 第一章：PyTorch的简介和安装
  • PyTorch简介
  • PyTorch的安装
  • PyTorch相关资源简介
• 第二章：PyTorch基础知识
  • 张量（Tensor）及其运算
  • 自动求导（Autograd）简介
  • 并行计算、CUDA和cuDNN简介
• 第三章：PyTorch的主要组成模块
  • 思考：完成一套深度学习流程需要哪些关键环节
  • 基本配置
  • 数据读入
  • 模型构建
  • 损失函数（Loss Function）
  • 优化器（Optimizer）
  • 训练和评估
  • 可视化
• 第四章：PyTorch基础实战
  • 基础实战——Fashion-MNIST时装分类
  • 基础实战——果蔬分类实战（notebook）
• 第五章：PyTorch模型定义
  • 模型定义方式
  • 利用模型块快速搭建复杂网络
  • 模型修改
  • 模型保存与读取
• 第六章：PyTorch进阶训练技巧
  • 自定义损失函数
  • 动态调整学习率（Learning Rate）
  • 模型微调（Fine-tuning）-torchvision
  • 模型微调-timm
  • 半精度训练（Half-precision Training）
  • 数据扩充（Data Augmentation）
  • 超参数的修改及保存
  • PyTorch模型定义与进阶训练技巧
• 第七章：PyTorch可视化
  • 可视化网络结构
  • 可视化CNN卷积层
  • 使用TensorBoard可视化训练过程
  • 使用wandb可视化训练过程
  • 使用SwanLab可视化训练过程
• 第八章：PyTorch生态简介
  • 简介
  • 图像—torchvision
  • 视频—PyTorchVideo
  • 文本—torchtext
  • 音频-torchaudio
• 第九章：模型部署
  • 使用ONNX进行部署并推理
• 第十章：常见网络代码的解读(推进中)
  • 计算机视觉（Computer Vision）
    • 图像分类（Image Classification）
      • ResNet源码解读
      • Swin Transformer源码解读
      • Vision Transformer源码解读
      • RNN源码解读
      • LSTM源码解读及其实战
    • 目标检测（Object Detection）
      • YOLO系列解读（与MMYOLO合作）
    • 图像分割（Image Segmentation）
  • 自然语言处理（Natural Language Processing, NLP）
    • RNN源码解读
  • 音频处理
  • 视频处理
  • 其他

三、人员安排

教程贡献情况（已上线课程内容）：

李嘉骐：第三章；第四章；第五章；第六章；第七章；第八章；内容整合

牛志康：第一章；第三章；第六章；第七章；第八章，第九章，第十章；文档部署

刘洋：第二章；第三章

陈安东：第二章；第三章；第七章

四、 课程编排与配套视频

五、关于贡献

# fork
# clone
git clone git@github.com:USERNAME/thorough-pytorch.git
# set upstream
git remote add upstream git@github.com:datawhalechina/thorough-pytorch.git
# disable upstream push
git remote set-url --push upstream DISABLE
# verify
git remote -v
# some sample output:
# origin	git@github.com:NoFish-528/thorough-pytorch.git (fetch)
# origin	git@github.com:NoFish-528/thorough-pytorch.git (push)
# upstream	git@github.com:datawhalechina/thorough-pytorch.git (fetch)
# upstream	DISABLE (push)
# do your work
git checkout -b lecture07
# edit and commit and push your changes
git push -u origin lecture07
# keep your fork up to date
## fetch upstream main and merge with forked main branch
git fetch upstream
git checkout main
git merge upstream/main
## rebase brach and force push
git checkout lecture07
git rebase main
git push -f

<type>: <short summary>
  │            │
  │            └─⫸ Summary in present tense. Not capitalized. No period at the end.
  │
  └─⫸ Commit Type: [docs #NO]:others

六、更新计划

七、鸣谢与反馈

• 非常感谢DataWhale成员 叶前坤 @PureBuckwheat 和 胡锐锋 @Relph1119 对文档的细致校对！
• 如果有任何想法可以联系我们DataWhale也欢迎大家多多提出issue。
• 特别感谢以下为教程做出贡献的同学！并特别感谢MMYOLO的贡献者们！

Made with contrib.rocks.

八、关注我们

LICENSE

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。

深入浅出PyTorch 快速上手指南

一、环境准备

系统要求

• 操作系统：Linux / macOS / Windows
• Python：3.7 及以上版本
• CUDA（可选）：如需 GPU 加速，需 NVIDIA 显卡及对应 CUDA 版本

前置依赖

• 掌握 Python 基础编程
• 了解神经网络等机器学习基础概念

二、安装步骤

1. 安装 PyTorch

推荐：使用国内镜像源加速

# 使用清华镜像源（推荐国内用户）
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# 或官方命令（根据 CUDA 版本选择）
# CPU 版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu

# CUDA 11.8 版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# CUDA 12.1 版本
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

验证安装：python -c "import torch; print(torch.__version__)"

2. 获取教程资源

# 克隆仓库
git clone https://github.com/datawhalechina/thorough-pytorch.git

# 进入目录
cd thorough-pytorch

# 安装其他依赖（如需要）
pip install -r requirements.txt

三、基本使用

1. 张量操作基础

import torch

# 创建张量
x = torch.tensor([[1, 2, 3], [4, 5, 6]])
print(x.shape)  # torch.Size([2, 3])

# GPU 加速（如可用）
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
x = x.to(device)

2. 自动求导示例

import torch

# 创建需要梯度的张量
x = torch.tensor(2.0, requires_grad=True)
y = x ** 3 + 2 * x

# 反向传播
y.backward()
print(x.grad)  # 输出: 14.0 (即 3*x^2 + 2 = 14)

3. 完整训练流程模板

import torch
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader, TensorDataset

# 1. 定义模型
class SimpleNet(nn.Module):
    def __init__(self):
        super().__init__()
        self.fc = nn.Linear(784, 10)
    
    def forward(self, x):
        return self.fc(x.view(x.size(0), -1))

# 2. 准备数据
model = SimpleNet().to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

# 3. 训练循环（示例）
for epoch in range(5):
    # 假设 data_loader 已定义
    for inputs, labels in data_loader:
        inputs, labels = inputs.to(device), labels.to(device)
        
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
    
    print(f"Epoch {epoch+1}, Loss: {loss.item():.4f}")

四、学习路径建议

配套资源：

• 📖 在线文档（建议优先查看 source 文件夹源码）
• 🎬 B站视频教程
• 🏫 智海AI科教平台