在6周内学习深度学习

这是Siraj Raval在YouTube上发布的“在6周内学习深度学习”课程大纲。

概述

这是Siraj Raval在YouTube上发布的这个视频的课程大纲。

第1周 - 前馈神经网络与反向传播

• 阅读《深度学习》一书的第一部分，可在此处找到：http://www.deeplearningbook.org/
• 使用这份速查表来帮助理解数学符号，可在此处找到：https://www.flickr.com/photos/95869671@N08/40544016221
• 观看4分钟构建一个神经网络
• 阅读11行代码实现的神经网络
• 在文本编辑器中手动输入该神经网络的代码，编译并在本地运行（不使用任何机器学习库）
• 观看5分钟理解反向传播

第2周 - 卷积神经网络

• 观看Coursera上的卷积神经网络专项课程，可在此处找到：https://www.coursera.org/learn/convolutional-neural-networks
• 阅读Karpathy CNN课程模块2下的全部3篇讲义，可在此处找到：http://cs231n.github.io/
• 观看我关于CNN的视频这里和这里
• 自己动手编写一个简单的CNN（不使用任何机器学习库）

第3周 - 循环神经网络

• 观看Coursera上的序列模型专项课程，可在此处找到：https://www.coursera.org/learn/nlp-sequence-models
• 观看我关于循环神经网络的视频，这里、这里和这里
• 阅读Trask关于LSTM RNN的博客文章，可在此处找到：https://iamtrask.github.io/2015/11/15/anyone-can-code-lstm/
• 自己动手编写一个简单的RNN（不使用任何机器学习库）

第4周 - 工具与框架

• 观看CS20（TensorFlow用于深度学习研究）。幻灯片可在此处找到：http://web.stanford.edu/class/cs20si/syllabus.html。播放列表可在此处找到：https://www.youtube.com/watch?v=g-EvyKpZjmQ&list=PLDuNt91tg0urwwTQNKyUbncSDvMEl74ww
• 观看我关于TensorFlow的入门播放列表这里
• 阅读Keras示例代码，快速了解其结构，可在此处找到：https://keras.io/getting-started/sequential-model-guide/
• 了解哪家GPU云服务提供商最适合你，可在此处找到：https://medium.com/@rupak.thakur/aws-vs-paperspace-vs-floydhub-choosing-your-cloud-gpu-partner-350150606b39
• 使用TensorFlow编写一个简单的图像分类器

第5周 - 生成对抗网络

• 观看你在这里看到的前7个视频
• 不使用任何机器学习库构建一个GAN
• 使用TensorFlow构建一个GAN
• 阅读这篇文章以理解GAN的数学原理，即使不能完全理解也没关系。这属于最前沿的内容，可在此处找到：https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html

第6周 - 深度强化学习

• 观看CS 294课程，可在此处找到：http://rail.eecs.berkeley.edu/deeprlcourse/
• 使用TensorFlow构建一个深度Q网络

Learn_Deep_Learning_in_6_Weeks 快速上手指南

本指南基于 Siraj Raval 的"6 周深度学习”课程大纲整理，旨在帮助开发者通过六周的强化训练，从零构建对深度学习的核心理解。本课程特色在于前几周要求不使用机器学习库手动实现算法，以深入理解数学原理。

环境准备

在开始之前，请确保你的开发环境满足以下要求：

• 操作系统：Windows, macOS 或 Linux (推荐 Ubuntu 20.04+)
• 编程语言：Python 3.8 或更高版本
• 核心依赖：
  • NumPy (用于手动实现神经网络时的矩阵运算)
  • TensorFlow 或 TensorFlow-GPU (第 4 周起使用)
  • Keras (通常包含在 TensorFlow 2.x 中)
  • Matplotlib (用于可视化结果)
• 硬件建议：
  • 前 3 周（手动实现）：普通 CPU 即可。
  • 第 4-6 周（框架实战）：建议配备 NVIDIA GPU (支持 CUDA)。若无本地 GPU，可参考原文推荐使用云 GPU 服务（如 AWS, Paperspace, FloydHub 等）。
• 前置知识：基础 Python 编程能力，线性代数与微积分基础。

国内加速建议：

• Python 包安装：建议使用清华源或阿里源加速 pip 安装。
• 视频资源：Coursera 和 YouTube 视频在国内访问可能受限，建议在 Bilibili 搜索对应课程名称（如"CS231n"、“吴恩达深度学习”、"Siraj Raval"）寻找搬运字幕版。
• 数据集：若代码需下载 MNIST/CIFAR 等数据集，建议配置 TensorFlow 镜像源或使用国内开源社区（如 ModelScope、AI Studio）的数据集接口。

安装步骤

1. 创建虚拟环境（推荐）

python -m venv dl_6weeks
source dl_6weeks/bin/activate  # Windows 用户请使用: dl_6weeks\Scripts\activate

2. 安装基础科学计算库（第 1-3 周必备）

为了完成“不使用 ML 库”的挑战，只需安装 NumPy：

pip install numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 安装深度学习框架（第 4 周起使用）

安装 TensorFlow 2.x（内置 Keras）：

pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple

注：若有 NVIDIA GPU，上述命令通常会自动识别并安装 GPU 支持版本；若需指定版本，请参考 TensorFlow 官网针对 CUDA 的版本对应表。

4. 获取课程资料

克隆或下载相关笔记和代码示例（可选，主要为参考）：

git clone https://github.com/iamtrask/neural-networks-deep-learning.git

(注：原 README 中提到的具体代码需根据每周任务手动编写，此处仅作为参考库)

基本使用（六周学习路径）

本课程没有单一的“运行命令”，而是分为六个阶段的实践任务。以下是每周的核心执行步骤：

第 1 周：前馈神经网络与反向传播

目标：不依赖框架，理解底层数学。

1. 阅读：《Deep Learning Book》第一部分及数学符号速查表。
2. 观看：4 分钟构建神经网络视频及 5 分钟反向传播视频。
3. 核心任务： 创建一个 neural_net.py 文件，仅使用 NumPy 实现一个简单的前馈神经网络。

   import numpy as np
   
   # 示例：手动定义激活函数和前向传播逻辑
   def sigmoid(x):
       return 1 / (1 + np.exp(-x))
   
   # 在此处手动编写权重初始化、前向传播、损失计算及反向传播更新代码
   # 参考：https://iamtrask.github.io/2015/07/12/basic-python-network/
   

4. 运行：python neural_net.py

第 2 周：卷积神经网络 (CNN)

目标：掌握图像处理核心架构。

1. 学习：Coursera 卷积神经网络专项课程及 CS231n 讲义。
2. 核心任务： 不使用 ML 库，利用 NumPy 手动实现一个简单的 CNN（包含卷积层、池化层）。
   • 提示：重点理解卷积核滑动窗口机制。

第 3 周：循环神经网络 (RNN)

目标：处理序列数据。

1. 学习：Coursera 序列模型课程及 LSTM 相关博客。
2. 核心任务： 不使用 ML 库，手动实现一个简单的 RNN 或 LSTM 单元。
   • 提示：关注时间步上的状态传递 $h_t$ 和细胞状态 $c_t$。

第 4 周：工具链实战 (TensorFlow/Keras)

目标：转向工业级框架，提升效率。

1. 学习：Stanford CS20 TensorFlow 课程及 Keras 官方指南。
2. 核心任务： 使用 TensorFlow/Keras 构建图像分类器。

   import tensorflow as tf
   from tensorflow import keras
   
   # 加载数据 (例如 MNIST)
   (x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()
   
   # 构建模型
   model = keras.Sequential([
       keras.layers.Flatten(input_shape=(28, 28)),
       keras.layers.Dense(128, activation='relu'),
       keras.layers.Dense(10, activation='softmax')
   ])
   
   model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])
   model.fit(x_train, y_train, epochs=5)
   

第 5 周：生成对抗网络 (GAN)

目标：探索生成式模型。

1. 学习：观看 GAN 系列教程及 Lilian Weng 的技术博客。
2. 核心任务：
   • 挑战 A：不使用 ML 库 构建简易 GAN（难度极高，重在理解博弈过程）。
   • 挑战 B：使用 TensorFlow 构建 DCGAN 生成手写数字或人脸。

第 6 周：深度强化学习 (Deep RL)

目标：结合决策与深度学习。

1. 学习：Berkeley CS294 深度强化学习课程。
2. 核心任务： 使用 TensorFlow 实现 Deep Q-Network (DQN)，并在 Gym 环境（如 CartPole）中进行训练。

   # 伪代码结构
   # 1. 初始化环境与 DQN 模型
   # 2. 构建 Experience Replay Buffer
   # 3. 循环：选择动作 -> 执行动作 -> 存储经验 -> 采样训练 -> 更新网络
   

---

提示：本课程的精髓在于前两周的“徒手造轮子”。请务必坚持手动编写反向传播和卷积逻辑，这将为你后续使用框架打下坚实的直觉基础。