深度学习——直截了当的指南（已弃用* 请参阅 d2l.ai）

本内容已迁移至《深度学习》一书，该书可在 https://d2l.ai/ 免费获取。

摘要

此仓库包含一系列逐步递进的笔记本，旨在教授深度学习、MXNet 以及 gluon 接口。我们的目标是充分利用 Jupyter 笔记本的优势，将文字、图表、公式和代码整合在同一页面中呈现。如果成功，这将形成一种兼具书籍、课程材料、现场教程辅助工具以及可合法引用实用代码资源的综合性学习材料。据我们所知，目前尚不存在同时满足以下两个条件的资料：(1) 全面覆盖现代深度学习的核心概念；(2) 将引人入胜的教材内容与可运行代码无缝结合。我们将在项目结束时揭晓这一空白是否存在合理的理由。

本书的另一大特色在于其编写方式。我们完全公开地开发这套资源，并将其完整版免费提供给公众。尽管本书由几位主要作者负责设定基调和内容框架，但我们欢迎社区贡献，期待与领域专家及社区成员共同撰写章节乃至整部分内容。迄今为止，我们已收到从错别字修正到完整可运行示例的各种贡献。

基于 Apache MXNet 的实现

在本书的整个过程中，我们以 MXNet 为核心工具，讲解深度学习的基础概念、高级主题以及丰富的应用场景。MXNet 因其卓越的速度表现而广泛应用于生产环境。如今，借助 MXNet 的全新命令式接口 gluon（处于 Alpha 阶段），研究人员可以更轻松地开展 MXNet 相关工作。

依赖项

要运行这些笔记本，您需要从源码编译 MXNet。幸运的是，按照 这些说明，这一过程非常简单（尤其是在 Linux 系统上）。此外，您还需要 安装 Jupyter，并使用 Python 3（因为现在是 2017 年）。

幻灯片

作者及其他人士正越来越多地基于本书内容进行演讲。其中一些演示文稿（例如长达 6 小时的 KDD 2017 演讲）篇幅巨大，因此我们将其单独收集在 这个仓库 中。如果您希望分享基于本书的教程或课程材料，欢迎向该仓库贡献内容。

翻译

在编写本书的过程中，规模较大的稳定章节正在同步翻译成中文，既提供 网页版本 ，也通过 GitHub 源代码 提供。

目录

第一部分：深度学习基础

• 第1章：速成课程

  • 前言
  • 导论
  • 使用 NDArray 操作数据
  • 线性代数
  • 概率与统计
  • 通过 autograd 进行自动微分

• 第2章：监督学习入门

  • 线性回归 (从零开始)
  • 线性回归 (使用 gluon)
  • 二分类问题的逻辑回归 (gluon 结合自定义损失函数)
  • 多分类逻辑回归 (从零开始)
  • 多分类逻辑回归 (使用 gluon)
  • 过拟合与正则化 (从零开始)
  • 过拟合与正则化 (使用 gluon)
  • 感知机与 SGD 入门
  • 学习环境

• 第3章：深度神经网络 (DNNs)

  • 多层感知机 (从零开始)
  • 多层感知机 (使用 gluon)
  • Dropout 正则化 (从零开始)
  • Dropout 正则化 (使用 gluon)
  • gluon.Block 和 gluon.nn.Sequential() 简介
  • 使用 gluon.Block 编写自定义层
  • 序列化：保存和加载模型
  • 高级数据输入输出
  • 调试您的神经网络

• 第4章：卷积神经网络（CNN）

  • 卷积神经网络 (从头实现)
  • 卷积神经网络 (使用gluon)
  • 深度 CNN 简介（AlexNet）
  • 超深网络与重复模块（VGG 网络）
  • 批量归一化 (从头实现)
  • 批量归一化 (使用gluon)

• 第5章：循环神经网络（RNN）

  • 简单 RNN (从头实现)
  • LSTM RNN (从头实现)
  • GRU (从头实现)
  • RNN (使用gluon)
  • 路线图 循环网络中的 Dropout
  • 路线图 Zoneout 正则化

• 第6章：优化

  • 优化简介
  • 梯度下降与随机梯度下降（从头实现）
  • 使用gluon的梯度下降和随机梯度下降
  • 动量法（从头实现）
  • 使用gluon的动量法
  • Adagrad（从头实现）
  • 使用gluon的 Adagrad
  • RMSprop（从头实现）
  • 使用gluon的 RMSprop
  • Adadelta（从头实现）
  • 使用gluon的 Adadelta
  • Adam（从头实现）
  • 使用gluon的 Adam

• 第7章：分布式与高性能学习

  • 快速灵活：结合命令式与符号式网络的 HybridBlocks
  • 使用多块 GPU 训练（从头实现）
  • 使用多块 GPU 训练（使用gluon）
  • 使用多台机器训练
  • 路线图 异步 SGD
  • 路线图 弹性 SGD

第二部分：应用

• 第8章：计算机视觉（CV）

  • 路线图 网络之网络（Inception等）
  • 路线图 残差网络
  • 目标检测
  • 路线图 全卷积网络
  • 路线图 连体（连结？）网络
  • 路线图 嵌入（成对损失和三元组损失）
  • 路线图 Inceptionism / 可视化特征检测器
  • 路线图 风格迁移
  • 视觉问答
  • 微调

• 第9章：自然语言处理（NLP）

  • 路线图 词嵌入（Word2Vec）
  • 路线图 句子嵌入（SkipThought）
  • 路线图 情感分析
  • 路线图 序列到序列学习（机器翻译）
  • 路线图 带注意力机制的序列转换（机器翻译）
  • 路线图 命名实体识别
  • 路线图 图像字幕生成
  • 用于语义相关性的树LSTM

• 第10章：音频处理

  • 路线图 自动语音识别简介
  • 路线图 连接主义时序分类（CSC）用于未对齐序列
  • 路线图 结合静态与序列数据

• 第11章：推荐系统

  • 推荐系统简介
  • 路线图 隐因子模型
  • 路线图 深度隐因子模型
  • 路线图 双线性模型
  • 路线图 从隐式反馈中学习

• 第12章：时间序列

  • 预测简介 (使用gluon)
  • 广义线性模型/MLP用于预测 (使用gluon)
  • 路线图 用于预测的因子模型
  • 路线图 用于预测的循环神经网络
  • 线性动态系统 (从头实现)
  • 指数平滑与创新状态空间建模 (从头实现)
  • 路线图 用于预测的高斯过程
  • 路线图 贝叶斯时间序列模型
  • 路线图 缺失数据建模
  • 路线图 结合静态与序列数据

第三部分：高级方法

• 第13章：无监督学习

  • 路线图 自编码器简介
  • 路线图 卷积自编码器（引入上采样）
  • 路线图 去噪自编码器
  • 变分自编码器
  • 路线图 聚类

• 第14章：生成对抗网络（GANs）

  • GANs简介
  • 深度卷积GANs（DCGANs）
  • 路线图 Wasserstein-GANs
  • 路线图 基于能量的GANs
  • 路线图 条件GANs
  • 图像转换GANs（Pix2Pix）
  • 路线图 从合成和无监督图像中学习

• 第15章：对抗学习

  • 路线图 双样本检验
  • 路线图 寻找对抗样本
  • 路线图 对抗训练

• 第16章：张量方法

  • 张量方法简介
  • 路线图 张量分解
  • 路线图 张量化神经网络

• 第17章：深度强化学习（DRL）

  • 路线图 强化学习简介
  • 路线图 深度上下文多臂赌博机
  • 深度Q网络（DQN）
  • 双DQN
  • 路线图 策略梯度
  • 路线图 演员-评论家梯度

• 第18章：变分方法与不确定性

  • 路线图 基于Dropout的不确定性估计（BALD）
  • 权重不确定性（反向传播贝叶斯）从零开始
  • 权重不确定性（反向传播贝叶斯）使用gluon
  • 权重不确定性（反向传播贝叶斯）用于循环神经网络
  • 路线图 变分自编码器

• 第19章：图神经网络

  • 基于消息传递神经网络的图上的深度学习

附录

• 附录1：备忘单
  • 路线图 gluon
  • 路线图 PyTorch转MXNet（正在进行中）
  • 路线图 TensorFlow转MXNet
  • 路线图 Keras转MXNet
  • 路线图 数学转MXNet

自选冒险

我们设计这些教程时，旨在让您以多种方式学习整个课程内容。

• 无政府主义者——想读什么就读什么，什么时候读都行。
• 帝国主义者——按顺序完成所有教程。这样您将首先从零开始接触每个模型，自己编写所有代码，仅使用基础的线性代数原语和自动微分功能。
• 资本主义者——如果您不关心底层原理（或者已经了解），只想快速查看使用 Gluon 的可运行代码，那么您可以跳过“从零开始！”的教程，直接进入基于 Gluon 高级接口的生产级代码部分。

作者

这部不断发展的作品是一项协作成果（请参阅“贡献者”标签页）。主要撰写、整理和编码人员包括：

• 扎卡里·C·利普顿（@zackchase）
• 穆·李（@mli）
• 亚历克斯·斯莫拉（@smolix）
• 盛·扎（@szha）
• 阿斯顿·张（@astonzhang）
• 乔舒亚·Z·张（@zhreshold）
• 埃里克·俊元·谢（@piiswrong）
• 卡米亚尔·阿齐扎德内舍利（@kazizzad）
• 让·科萨伊菲（@JeanKossaifi）
• 斯特凡·拉班瑟（@steverab）

灵感来源

在编写这些教程的过程中，我们从过去帮助我们使用其他库学习深度学习或机器学习的一些资源中汲取了灵感。其中包括：

• 苏米思·钦塔拉的《用 PyTorch 进行深度学习：60 分钟速成》
• 阿莱克·拉德福德的《Theano 入门基础教程》
• 阿莱克关于使用 Theano 进行深度学习的介绍视频
• 克里斯·毕晓普的《模式识别与机器学习》

参与贡献

自项目启动以来的短时间内，社区已为我们提供了许多有益的拉取请求，其中包含教学建议、错别字修正以及其他实用改进。如果您愿意，欢迎参与贡献！

MXNet The Straight Dope 快速上手指南

重要提示：本仓库（mxnet-the-straight-dope）已停止维护并标记为废弃。所有内容已迁移至《动手学深度学习》（Dive into Deep Learning, D2L）官方项目。

• 最新中文版地址：https://zh.d2l.ai/
• 英文版地址：https://d2l.ai/

以下指南基于原仓库内容整理，旨在帮助开发者快速复现经典教程或理解其运行环境。建议新用户直接访问上述最新地址获取基于 PyTorch、TensorFlow 和 MXNet 的多框架支持版本。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Linux（Ubuntu/CentOS），Windows 和 macOS 也可运行但配置可能稍复杂。
• Python 版本：必须使用 Python 3.x（原项目明确不再支持 Python 2）。
• 核心依赖：
  • Apache MXNet：需要包含 gluon 接口的版本。
  • Jupyter Notebook：用于运行交互式教程笔记。
  • Git：用于克隆代码仓库。

安装步骤

1. 安装 Jupyter Notebook

如果您尚未安装 Jupyter，请使用 pip 进行安装：

pip install jupyter

2. 安装 Apache MXNet (含 Gluon)

原项目建议从源码编译以获得最佳性能，但对于快速上手，推荐使用预编译包。

通用安装命令：

pip install mxnet gluonnlp

国内加速方案（推荐）： 在中国大陆地区，建议使用清华源或阿里源加速安装：

pip install mxnet gluonnlp -i https://pypi.tuna.tsinghua.edu.cn/simple

注：如果您需要使用 GPU 版本，请将 mxnet 替换为 mxnet-cu101（根据实际 CUDA 版本调整，如 mxnet-cu110）。

3. 获取教程代码

克隆原始仓库以获取 Notebook 文件：

git clone https://github.com/zackchase/mxnet-the-straight-dope.git
cd mxnet-the-straight-dope

基本使用

本项目由一系列 Jupyter Notebook 组成，涵盖了从基础数学到深度神经网络的全流程。

启动交互式教程

进入章节目录并启动 Jupyter Server。例如，要学习第一章“深度学习基础”中的 NDArray 操作：

cd chapter01_crashcourse
jupyter notebook ndarray.ipynb

浏览器将自动打开，您可以直接在单元格中运行代码、查看公式和修改参数。

最小化代码示例

以下是一个使用 MXNet Gluon 接口定义并运行简单线性回归模型的极简示例，展示了该教程的核心风格：

import mxnet as mx
from mxnet import nd, autograd, gluon

# 设置上下文 (CPU 或 GPU)
ctx = mx.cpu() 

# 1. 准备数据
X = nd.random.normal(shape=(4, 2), ctx=ctx)
y = nd.array([2, 4, 6, 8], ctx=ctx)

# 2. 定义模型
net = gluon.nn.Dense(1)
net.initialize(ctx=ctx)

# 3. 定义损失函数和优化器
loss = gluon.loss.L2Loss()
trainer = gluon.Trainer(net.collect_params(), 'sgd', {'learning_rate': 0.03})

# 4. 训练循环 (单步演示)
with autograd.record():
    output = net(X)
    l = loss(output, y)
l.backward()
trainer.step(1)

print("训练完成，模型参数已更新")

学习路径建议

按照原书结构，建议的学习顺序如下：

1. Part 1: 基础 - 从 chapter01 的 NDArray 操作开始，逐步学习监督学习、多层感知机 (MLP)、卷积神经网络 (CNN) 和循环神经网络 (RNN)。
2. Part 2: 应用 - 进阶学习计算机视觉 (chapter08) 和自然语言处理等实际应用案例。

请再次注意，如需学习最新技术栈和完整中文内容，请访问 zh.d2l.ai。