CS583：深度学习

1. 机器学习基础。 本部分简要介绍机器学习的基本问题——回归、分类、降维和聚类——以及用于解决这些问题的传统机器学习模型和数值算法。

   • 机器学习基础 [幻灯片-1] [幻灯片-2]。

   • 回归 [幻灯片-1] [幻灯片-2]。

   • 分类。

     • 逻辑回归 [幻灯片] [讲义]。

     • SVM [幻灯片]。

     • Softmax分类器 [幻灯片]。

     • KNN分类器 [幻灯片]。

   • 正则化 [幻灯片-1] [幻灯片-2]。

   • 聚类 [幻灯片]。

   • 降维 [幻灯片-1] [幻灯片-2] [讲义]。

   • 科学计算库。 [幻灯片]。

2. 神经网络基础。 本部分涵盖多层感知机、反向传播以及深度学习库，重点介绍Keras。

   • 多层感知机和反向传播 [幻灯片] [讲义]。

   • Keras [幻灯片]。

   • 更多阅读：

     • [激活函数]

     • [参数初始化]

     • [优化算法]

3. 卷积神经网络（CNN）。 本部分专注于卷积神经网络及其在计算机视觉问题中的应用。

   • CNN基础 [幻灯片]。

   • 提高测试准确率的技巧 [幻灯片]。

   • 特征缩放和批归一化 [幻灯片]。

   • CNN高级主题 [幻灯片]。

   • 流行的CNN架构 [幻灯片]。

   • 更多阅读：

     • [风格迁移（Chollet书第8.1节）]

     • [可视化CNN（Chollet书第5.4节）]

4. 循环神经网络（RNN）。 本部分介绍循环神经网络及其在自然语言处理（NLP）中的应用。

   • 分类特征处理 [幻灯片] [视频（中文）]。

   • 文本处理和词嵌入 [幻灯片] [视频（中文）]。

   • RNN基础 [幻灯片] [视频（中文）]。

   • LSTM [幻灯片] [参考] [视频（中文）]。

   • 提高RNN的有效性 [幻灯片] [视频（中文）]。

   • 文本生成 [幻灯片] [视频（中文）]。

   • 机器翻译 [幻灯片] [视频（中文）]。

   • 注意力机制 [幻灯片] [视频（英文）] [视频（中文）] [参考]。

   • 自注意力机制 [幻灯片] [视频（英文）] [视频（中文）]。

   • 图像字幕生成 [幻灯片] [参考]。

5. Transformer模型。

• Transformer (1/2): 无RNN的注意力机制 [幻灯片] [英文视频] [中文视频]。

  • Transformer (2/2): 从浅层到深层 [幻灯片] [英文视频] [中文视频] [参考文献]。

  • BERT: 预训练的Transformer [幻灯片] [英文视频] [中文视频] [参考文献]。

  • 视觉Transformer (ViT) [幻灯片] [英文视频] [中文视频]。

6. 自编码器。 本部分介绍用于降维和图像生成的自编码器。

   • 用于降维的自编码器 [幻灯片]。

   • 用于图像生成的变分自编码器 (VAEs) [幻灯片]。

7. 生成对抗网络 (GANs)。

   • DC-GAN [幻灯片]。

8. 深度强化学习。

   • 强化学习基础 [幻灯片] [讲义] [中文视频]。

   • 基于价值的学习 [幻灯片] [中文视频]。

   • 基于策略的学习 [幻灯片] [中文视频]。

   • 演员-评论家方法 [幻灯片] [中文视频]。

   • AlphaGo与蒙特卡洛树搜索 [幻灯片] [中文视频]。

9. 并行计算。

   • 基础知识与MapReduce [幻灯片] [讲义] [中文视频]。

   • 参数服务器与去中心化网络 [幻灯片] [中文视频]。

   • TensorFlow的镜像策略与环形All-reduce [幻灯片] [中文视频]。

   • 联邦学习 [幻灯片] [中文视频]。

10. 对抗鲁棒性。 本部分介绍如何使用对抗样本攻击神经网络，以及如何防御此类攻击。

    • 数据逃逸攻击与防御 [幻灯片] [讲义]。

    • 数据投毒攻击 [幻灯片] [中文视频]。

    • 更多阅读： [对抗鲁棒性——理论与实践]。

11. 元学习。

    • 少样本学习：基本概念 [幻灯片] [英文视频] [中文视频]。

    • 连体网络 [幻灯片] [英文视频] [中文视频]。

    • 预训练+微调 [幻灯片] [英文视频] [中文视频]。

12. 神经架构搜索 (NAS)。

    • 基础知识 [幻灯片] [中文视频]。

    • RNN + 强化学习： [幻灯片] [中文视频]。

    • 可微分NAS： [幻灯片] [中文视频]。

DeepLearning (CS583) 快速上手指南

本仓库是伊利诺伊理工学院汪书森教授的 CS583: Deep Learning 课程资料，涵盖从机器学习基础到 Transformer、强化学习及神经架构搜索的全套幻灯片、讲义和视频资源。本项目主要为学习资料库，无需安装特定的"DeepLearning"软件包，但运行相关代码示例需配置标准的深度学习环境。

1. 环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+), macOS, 或 Windows (建议使用 WSL2)
• 硬件: 建议配备 NVIDIA GPU (用于加速 CNN, RNN, Transformer 等模型训练)，显存建议 8GB 以上。若无 GPU，CPU 亦可运行基础示例。
• Python 版本: Python 3.8 - 3.10

前置依赖

核心依赖包括深度学习框架及科学计算库：

• PyTorch 或 TensorFlow/Keras (课程重点提及 Keras)
• NumPy, Pandas, Matplotlib, Scikit-learn
• Jupyter Notebook (用于查看和运行演示代码)

国内加速建议：

• 推荐使用 清华大学 (TUNA) 或 阿里云 镜像源安装 Python 包，以解决下载速度慢的问题。
• 视频资源已包含 Bilibili 或 YouTube 链接，部分提供中文字幕或中文讲解版本。

2. 安装步骤

步骤一：克隆项目仓库

获取课程幻灯片、讲义笔记及参考代码。

git clone https://github.com/wangshusen/DeepLearning.git
cd DeepLearning

步骤二：创建虚拟环境 (推荐)

使用 conda 或 venv 隔离环境。

# 使用 Conda (推荐)
conda create -n dl_course python=3.9
conda activate dl_course

# 或使用 venv
python -m venv dl_env
source dl_env/bin/activate  # Windows: dl_env\Scripts\activate

步骤三：安装核心依赖

根据你偏好的框架选择安装 PyTorch 或 TensorFlow。以下以 PyTorch (当前主流) 和 Keras (课程重点) 为例。

使用国内镜像源安装通用库：

pip install numpy pandas matplotlib scikit-learn jupyter -i https://pypi.tuna.tsinghua.edu.cn/simple

方案 A：安装 PyTorch (CUDA 版本请根据显卡调整)

# CPU 版本
pip install torch torchvision torchaudio -i https://pypi.tuna.tsinghua.edu.cn/simple

# GPU 版本 (示例为 CUDA 11.8，请访问 pytorch.org 获取最新命令)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

方案 B：安装 TensorFlow & Keras

pip install tensorflow keras -i https://pypi.tuna.tsinghua.edu.cn/simple

3. 基本使用

本仓库主要包含 PDF 幻灯片 (Slides/) 和 LaTeX/Markdown 讲义 (LectureNotes/)。若仓库中包含具体的 Python 示例代码（通常分散在各章节对应的文件夹或讲义附件中），可按以下方式运行。

查看课程资料

直接打开 Slides 目录下的 PDF 文件进行学习。例如，查看机器学习基础：

• Slides/1_ML_Basics.pdf
• Slides/6_NeuralNet_1.pdf (神经网络基础)

运行简单的神经网络示例 (基于 Keras)

课程第 2 部分重点介绍了 Keras。创建一个名为 hello_dl.py 的文件，运行以下最简示例来验证环境：

import tensorflow as tf
from tensorflow import keras
import numpy as np

# 1. 准备简单数据 (异或问题)
X = np.array([[0,0], [0,1], [1,0], [1,1]], dtype=np.float32)
y = np.array([[0], [1], [1], [0]], dtype=np.float32)

# 2. 构建多层感知机 (MLP)
model = keras.Sequential([
    keras.layers.Dense(4, activation='relu', input_shape=(2,)),
    keras.layers.Dense(1, activation='sigmoid')
])

# 3. 编译模型
model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['accuracy'])

# 4. 训练模型
print("Start training...")
model.fit(X, y, epochs=1000, verbose=0)

# 5. 测试预测
predictions = model.predict(X)
print("\nPredictions:")
for i, pred in enumerate(predictions):
    print(f"Input: {X[i]} -> Predicted: {pred[0]:.4f} (Target: {y[i][0]})")

print("\nEnvironment setup successful! Ready for CS583 courses.")

运行命令：

python hello_dl.py

访问视频教程

在 README 的各章节中提供了视频链接。对于中国开发者，优先点击标注为 video (Chinese) 的链接（通常为 YouTube 搬运或作者上传的中讲版），例如：

• RNN 基础: 中文视频
• Transformer 详解: 中文视频

---

注：本指南仅用于快速搭建学习环境。深入理论学习请务必阅读仓库中的 Slides 和 LectureNotes 原文档。