深度学习课程：讲义幻灯片与实验笔记

本课程作为巴黎IP-Paris应用数学与统计学硕士二年级数据科学专业的一部分进行授课。

目录

本课程涵盖深度学习的基础知识，并重点关注其应用。

讲义幻灯片

• 深度学习导论
• 神经网络与反向传播
• 嵌入与推荐系统
• 用于图像分类的卷积神经网络
• 用于目标检测和图像分割的深度学习
• 循环神经网络与自然语言处理
• 序列到序列模型、注意力机制与记忆
• 表达能力、优化与泛化
• 不平衡分类与度量学习
• 无监督深度学习与生成模型

注意：按下“P”键可显示演讲者备注，其中包含一些注释和补充参考文献。

实验室与家庭作业笔记本

实验室的 Jupyter 笔记本位于 GitHub 仓库 的 labs 文件夹中：

git clone https://github.com/m2dsupsdlclass/lectures-labs

这些笔记本仅适用于 keras 和 tensorflow。请按照 installation_instructions.md 中的说明进行安装和配置，以开始使用。

包含解决方案的渲染后笔记本的直接链接（将在渲染模式下更新）：

实验 1：深度学习入门

• 演示：使用 Keras 预训练的 RetinaNet 进行目标检测
• Keras 中的多层感知机入门

实验 2：神经网络与反向传播

• 使用 NumPy 实现神经网络中的反向传播
• 附加内容：使用 TensorFlow 实现反向传播

实验 3：嵌入与推荐系统

• Keras 中嵌入的简短介绍
• 基于显式反馈的神经网络推荐系统
• 基于隐式反馈和三元组损失的神经网络推荐系统

实验 4：用于图像分类的卷积神经网络

• 卷积操作
• 使用 Keras 的预训练卷积神经网络
• 使用 Keras 微调预训练的卷积神经网络（需要 GPU）
• 附加内容：使用 TensorFlow 的卷积与卷积神经网络

实验 5：用于目标检测和图像分割的深度学习

• 全卷积神经网络
• 用于分类和定位的卷积神经网络

实验 6：文本分类、词嵌入与语言模型

• 文本分类与词向量
• 字符级语言模型（需要 GPU）
• Transformer（BERT 微调）：意图分类与槽位填充联合任务

实验 7：用于机器翻译的序列到序列模型

• 使用 Seq2Seq 模型翻译数字短语

实验 8：PyTorch 入门

• PyTorch 自动求导简介
• PyTorch 对 Fashion MNIST 数据集的分类
• PyTorch 中的随机优化景观

实验 9：暹罗网络与三元组损失

• 使用暹罗网络进行人脸验证
• 使用三元组损失进行人脸验证

实验 10：变分自编码器

• Fashion MNIST 数据集上的变分自编码器

致谢

本课程由 Olivier Grisel 和 Charles Ollion 构建并维护。

Charles Ollion 是 Heuritech 的研究负责人；
Olivier Grisel 是 Inria 的软件工程师。

我们感谢 Orange-Keyrus-Thalès 教席对本课程的支持。

许可证

本仓库中的所有代码均在未另行说明的情况下，以 MIT 许可证发布。

幻灯片则根据 CC-By 4.0 许可证 的条款发布。

lectures-labs 快速上手指南

lectures-labs 是巴黎理工学院（IP-Paris）数据科学硕士课程的开源深度学习教程，包含完整的讲座幻灯片和基于 Jupyter Notebook 的实验代码。课程涵盖从基础神经网络到 Transformer、目标检测及生成模型等前沿应用。

环境准备

本项目的实验代码（Labs）主要依赖 Python 生态，核心框架为 TensorFlow 和 Keras，部分进阶实验（如 Lab 8）涉及 PyTorch。

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：建议 Python 3.8 - 3.10
• 硬件要求：
  • 基础实验：普通 CPU 即可运行。
  • 进阶实验（如微调 CNN、字符级语言模型）：强烈建议配备 NVIDIA GPU 以加速训练。
• 前置依赖：
  • Git
  • Jupyter Lab / Notebook
  • TensorFlow & Keras
  • PyTorch (可选，用于特定实验)

提示：如果您不想在本地配置环境，可以直接点击项目首页的 按钮，在浏览器中免费启动云端交互式环境。

安装步骤

1. 克隆项目仓库

首先将代码库下载到本地：

git clone https://github.com/m2dsupsdlclass/lectures-labs.git
cd lectures-labs

2. 创建虚拟环境并安装依赖

建议使用 conda 或 venv 创建隔离环境。以下以 conda 为例（国内用户可使用清华源加速）：

# 创建名为 dl-course 的环境，指定 Python 版本
conda create -n dl-course python=3.9 -y
conda activate dl-course

# 【可选】配置清华镜像源加速下载
conda config --add channels https://pypi.tuna.tsinghua.edu.cn/simple

# 安装核心依赖
# 注意：具体包版本请参考仓库根目录下的 requirements.txt 或 installation_instructions.md
pip install tensorflow keras jupyterlab matplotlib scikit-learn pandas numpy

# 如果需要运行 Lab 8 (PyTorch 相关)，请额外安装：
pip install torch torchvision torchaudio

重要说明：请务必查阅仓库中的 installation_instructions.md 文件，以获取最新且最准确的依赖版本列表，因为深度学习库更新频繁。

3. 启动 Jupyter Lab

安装完成后，在项目根目录启动服务：

jupyter lab

浏览器会自动打开界面，您可以导航至 labs/ 文件夹开始实验。

基本使用

本项目分为“讲座幻灯片”和“实验笔记”两部分。

1. 浏览讲座幻灯片

所有幻灯片已渲染为 HTML 格式。您可以直接在浏览器中打开 slides/ 目录下的对应章节。

• 技巧：在幻灯片页面按下键盘上的 P 键，可显示演讲者备注（包含额外评论和参考文献）。

2. 运行第一个实验 (Lab 1)

进入 labs/01_keras/ 目录，打开 Intro Keras.ipynb。这是一个最简单的入门示例，演示如何使用 Keras 构建多层感知机 (MLP)。

代码示例片段（在 Notebook 单元格中运行）：

import tensorflow as tf
from tensorflow import keras
import numpy as np

# 加载 MNIST 数据集
(x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data()

# 数据预处理
x_train = x_train.astype("float32") / 255.0
x_test = x_test.astype("float32") / 255.0
x_train = x_train.reshape(-1, 28 * 28)
x_test = x_test.reshape(-1, 28 * 28)

# 构建简单的 MLP 模型
model = keras.Sequential([
    keras.layers.Dense(64, activation="relu", input_shape=(784,)),
    keras.layers.Dropout(0.2),
    keras.layers.Dense(10, activation="softmax")
])

# 编译模型
model.compile(
    optimizer="adam",
    loss="sparse_categorical_crossentropy",
    metrics=["accuracy"]
)

# 训练模型
model.fit(x_train, y_train, batch_size=32, epochs=5, validation_split=0.1)

3. 探索其他主题

按照目录结构依次学习：

• Lab 2: 使用 Numpy 手动实现反向传播，深入理解原理。
• Lab 4: 卷积神经网络 (CNN) 与图像分类（含预训练模型微调）。
• Lab 6: 自然语言处理 (NLP)，包含 Word Embeddings 和 BERT 微调。
• Lab 10: 无监督学习与变分自编码器 (VAE)。

所有实验笔记均提供了解决方案（Rendered 模式），方便对照学习。