深度学习（PyTorch）- ND101 v7

此仓库包含与 Udacity 的 深度学习 v7 Nanodegree 项目 相关的资料。它由一系列关于不同深度学习主题的教程笔记本组成。在大多数情况下，这些笔记本会引导你实现卷积网络、循环网络和生成对抗网络等模型。此外还涵盖了权重初始化和批量归一化等其他主题。

这里也有一些用作 Nanodegree 项目的小笔记本。在实际的课程中，这些项目会由 Udacity 的评审人员进行人工审核，但这里的起始代码同样可供参考。

目录

教程

神经网络入门

• 神经网络入门：学习如何实现梯度下降，并将其应用于预测学生录取数据中的模式。
• 使用 NumPy 进行情感分析：Andrew Trask 将带领你构建一个情感分析模型，以预测一段文本是正面还是负面。
• PyTorch 入门：学习如何在 PyTorch 中构建神经网络，并使用预训练网络来实现最先进的图像分类器。

卷积神经网络

• 卷积神经网络：可视化构成 CNN 的各层输出。学习如何定义并训练一个 CNN 来分类 MNIST 数据集，这是一个在机器学习和深度学习领域非常著名的手写数字数据集。此外，还将定义并训练一个 CNN 来分类 CIFAR10 数据集 中的图像。
• 迁移学习：在实践中，大多数人并不会从头开始在大型数据集上训练自己的网络；他们通常会使用像 VGGnet 这样的 预训练 网络。在这里，你将利用 VGGnet 帮助对花卉图像进行分类，而无需从零开始训练端到端的网络。
• 权重初始化：探索网络权重的初始化方式如何影响性能。
• 自编码器：使用 PyTorch 中的前馈网络和卷积网络构建用于图像压缩和去噪的模型。
• 风格迁移：利用预训练网络提取图像的风格和内容特征。根据 Gatys 等人的论文 使用卷积神经网络进行图像风格迁移，实现风格迁移。定义适当的损失函数，迭代生成属于你自己的风格迁移目标图像！

循环神经网络

• 循环神经网络简介（时间序列与字符级 RNN）：循环神经网络能够利用数据序列的信息，例如文本中的字符序列；学习如何在 PyTorch 中实现这些网络，以完成各种任务。
• 词嵌入（Word2Vec）：实现 Word2Vec 模型，以找到词语的语义表示，用于自然语言处理。
• 情感分析 RNN：实现一个循环神经网络，可以预测电影评论文本是正面还是负面。
• 注意力机制：实现注意力机制，并将其应用于注释向量。

生成对抗网络

• 基于 MNIST 的生成对抗网络：在 MNIST 数据集上训练一个简单的生成对抗网络。
• 批量归一化：学习如何通过批量归一化提高训练速度和网络稳定性。
• 深度卷积生成对抗网络（DCGAN）：实现一个 DCGAN，以 Street View House Numbers (SVHN) 数据集为基础生成新图像。
• CycleGAN：实现一个 CycleGAN，该网络专为从无配对和未标注的数据中学习而设计；使用训练好的生成器将夏季图像转换为冬季图像，反之亦然。

部署模型（使用 AWS SageMaker）

• 所有练习和项目笔记本 关于模型部署的课程内容都可以在链接的 GitHub 仓库中找到。学习如何使用 AWS SageMaker 部署预训练模型。

项目

• 预测共享单车使用模式：在 NumPy 中实现一个神经网络，以预测自行车租赁情况。
• 犬种分类器：使用 PyTorch 构建一个卷积神经网络，将任何图像（甚至人脸图像）分类为特定的犬种。
• 电视剧剧本生成：训练一个循环神经网络，以 Seinfeld 对话的风格生成剧本。
• 人脸生成：使用 DCGAN 和 CelebA 数据集生成新的、逼真的真人脸图像。

选修材料

• TensorFlow 入门：开始使用 TensorFlow 构建神经网络。
• Keras：学习如何使用 Keras 构建神经网络和卷积神经网络。

---

依赖项

使用 Anaconda 配置和管理您的环境

根据 Anaconda 的文档：

Conda 是一个开源的包管理和环境管理系统，用于安装多个版本的软件包及其依赖项，并在它们之间轻松切换。它适用于 Linux、OS X 和 Windows 操作系统，最初为 Python 程序设计，但也可以打包和分发任何软件。

概述

使用 Anaconda 包括以下步骤：

1. 在您的计算机上安装 miniconda，选择适合您操作系统的最新 Python 版本。如果您已经安装了 conda 或 miniconda，则可以跳过此步骤，直接进入第 2 步。
2. 创建并激活一个新的 conda 环境。

* 每次您希望进行练习时，请务必激活您的 conda 环境！

---

1. 安装

下载与您的系统匹配的最新版 miniconda。

	Linux	Mac	Windows
64位	64位（bash 安装程序）	64位（bash 安装程序）	64位（exe 安装程序）
32位	32位（bash 安装程序）		32位（exe 安装程序）

安装miniconda 到您的机器上。详细说明：

• Linux: https://conda.io/projects/conda/en/latest/user-guide/install/linux.html
• Mac: https://conda.io/projects/conda/en/latest/user-guide/install/macos.html
• Windows: https://conda.io/projects/conda/en/latest/user-guide/install/windows.html

2. 创建并激活环境

对于 Windows 用户，以下命令需要在 Anaconda 提示符 中执行，而不是在普通的 Windows 终端窗口中。而对于 Mac 用户，使用普通终端窗口即可。

Git 和版本控制

这些说明还假设您已安装 git，以便通过终端与 GitHub 进行交互。如果没有安装，您可以先使用以下命令进行安装：

conda install git

如果您想深入了解版本控制以及如何在命令行中使用 git，可以查看我们的免费课程：使用 Git 进行版本控制。

现在，我们已经准备好创建本地环境了！

1. 克隆仓库，并进入下载的文件夹。由于包含图像数据，克隆过程可能需要一两分钟。

git clone https://github.com/udacity/deep-learning-v2-pytorch.git  
cd deep-learning-v2-pytorch

2. 创建（并激活）一个名为 deep-learning 的新环境，使用 Python 3.6。如果提示是否继续安装 (Proceed [y]/n)，请输入 y。

   • Linux 或 Mac:

   conda create -n deep-learning python=3.6  
   source activate deep-learning
   

   • Windows:

   conda create --name deep-learning python=3.6  
   activate deep-learning
   

   此时，您的命令行应该显示类似以下内容：(deep-learning) <User>:deep-learning-v2-pytorch <user>$。其中 (deep-learning) 表示您的环境已成功激活，您可以继续安装其他包。

3. 安装 PyTorch 和 torchvision；这将安装最新版本的 PyTorch。

   • Linux 或 Mac:

   conda install pytorch torchvision -c pytorch
   

   • Windows:

   conda install pytorch -c pytorch  
   pip install torchvision
   

4. 安装一些所需的 pip 包，这些包在 requirements.txt 文件中列出（包括 OpenCV）。

pip install -r requirements.txt

7. 完成！

现在，大多数深度学习相关的库都已经可用。偶尔，您可能会遇到带有额外 requirements 文件的仓库，这些文件通常用于支持 TensorFlow 和 Keras 等框架。在这种情况下，建议您在现有环境中再安装相关库，或者为特定项目创建一个新的环境。

假设您的 deep-learning 环境仍然处于激活状态，您可以导航到主仓库并开始查看笔记本：

cd  
cd deep-learning-v2-pytorch  
jupyter notebook

完成工作后，只需关闭终端窗口即可退出环境。

deep-learning-v2-pytorch 快速上手指南

本指南基于 Udacity 深度学习纳米学位（ND101 v7）的官方开源资源，涵盖神经网络、CNN、RNN、GAN 等核心主题的教程与项目实战。

环境准备

• 操作系统：Linux, macOS 或 Windows
• 前置依赖：
  • Git：用于克隆代码仓库。
  • Anaconda/Miniconda：推荐安装 Miniconda 以管理 Python 环境和依赖包。
• Python 版本：建议使用 Python 3.6（与环境配置命令一致）。

提示：国内用户若下载 Miniconda 或连接官方源较慢，可考虑使用清华大学或中科大镜像源加速下载和安装过程。

安装步骤

1. 克隆仓库

打开终端（Windows 用户使用 Anaconda Prompt），执行以下命令获取代码：

git clone https://github.com/udacity/deep-learning-v2-pytorch.git
cd deep-learning-v2-pytorch

2. 创建并激活 Conda 环境

创建一个名为 deep-learning 的独立环境，指定 Python 版本为 3.6：

• Linux / Mac:

  conda create -n deep-learning python=3.6
  source activate deep-learning
  

• Windows:

  conda create --name deep-learning python=3.6
  activate deep-learning
  

激活成功后，命令行前缀应显示 (deep-learning)。

3. 安装 PyTorch 及相关依赖

根据操作系统安装 PyTorch 和 torchvision。

• Linux / Mac:

  conda install pytorch torchvision -c pytorch 
  

• Windows:

  conda install pytorch -c pytorch
  pip install torchvision
  

国内加速建议：若上述命令下载缓慢，可使用清华源替代 -c pytorch 参数，例如： conda install pytorch torchvision cpuonly -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ (具体通道请根据最新镜像站文档调整)。

4. 安装其他所需包

安装项目所需的其余 Python 库（包括 OpenCV 等）：

pip install -r requirements.txt

基本使用

安装完成后，确保 deep-learning 环境处于激活状态，启动 Jupyter Notebook 即可开始学习：

cd deep-learning-v2-pytorch
jupyter notebook

浏览器将自动打开并显示仓库目录。你可以按照以下路径开始探索：

1. 入门基础：进入 intro-to-pytorch 文件夹，运行笔记本学习如何构建基础神经网络。
2. 实战项目：尝试 project-dog-classification，使用预训练模型进行犬种分类。
3. 进阶主题：浏览 gan-mnist 或 cycle-gan 了解生成对抗网络的实现。

完成学习后，直接关闭终端窗口即可退出环境。