深度学习书籍 - 古德费洛、I.，本吉奥、Y.，以及库维尔、A.（2016）

本内容是根据古德费洛、本吉奥和库维尔于2016年出版的《深度学习》一书第二章线性代数部分编写的系列文章之一。旨在通过直观解释、图表和Python代码来阐述相关数学理论，并基于我对这些概念的理解进行组织。

提升你的数据科学技能：学习线性代数

我想介绍一系列博客文章及其配套的Python笔记本，这些内容整理自伊恩·古德费洛、约书亚·本吉奥和阿伦·库维尔于2016年出版的《深度学习》一书。这些笔记的目标是帮助初学者或有一定基础的学习者掌握深度学习和机器学习背后的线性代数概念。掌握这些技能将显著提升你理解和应用各类数据科学算法的能力。在我看来，线性代数是机器学习、深度学习和数据科学的基石之一。

本系列笔记覆盖了第二章“线性代数”。我特别喜欢这一章，因为它清晰地展示了机器学习和深度学习领域中最常用的概念和技术。因此，对于希望深入学习深度学习并掌握有助于理解深度学习算法的线性代数知识的人来说，这是一份极佳的学习大纲。

所有文章都可以在这里找到：https://hadrienj.github.io。

线性代数入门

本系列的目标是为那些希望具备足够线性代数知识以顺利进入机器学习和深度学习领域的初学者提供内容。然而，我认为《深度学习》一书中关于线性代数的章节对初学者来说稍显艰深。因此，我决定针对该章节的每个部分编写代码、示例和图示，以补充一些初学者可能不易理解的细节。同时，我也相信，通过具体的例子可以传达与抽象定义同样丰富的信息和知识。插图可以帮助我们更宏观地理解一个概念。此外，编程也是探索这些抽象数学概念的绝佳工具。结合纸笔使用，它能够进一步拓展我们的思维边界，推动对知识的深入理解。

图形化表示对于理解线性代数也非常有帮助。在编写本系列的过程中，我尝试将各个概念与相应的图表（以及生成这些图表的代码）相结合。其中，我最喜欢的一种表达方式是将任意矩阵视为对空间的一种线性变换。在后续几章中，我们将进一步探讨这一思想，并说明它如何用于理解特征分解、奇异值分解（SVD）以及主成分分析（PCA）等重要概念。

Python与Numpy的应用

此外，我发现通过创建和阅读示例，能够极大地帮助理解理论知识。正是出于这个原因，我构建了Python笔记本。其目的主要有两个方面：

1. 为读者提供一个起点，学习如何使用Python和Numpy来应用线性代数概念。由于最终目标是将线性代数应用于数据科学，因此在理论与代码之间来回切换显得十分自然。你只需要安装好Python环境，并配备Numpy、Scipy和Matplotlib等主要数学库即可。

2. 使抽象的概念更加具体化。我发现，通过动手实践这些笔记本中的内容，能够有效加深对一些较为复杂理论概念或符号的理解。希望这些笔记也能对你有所帮助。

学习大纲

本系列的学习大纲完全遵循《深度学习》一书的结构，因此如果你在阅读原书时遇到难以理解的地方，可以参考本系列的内容获取更多细节。以下是各部分内容的简要介绍：

1. 标量、向量、矩阵与张量

   

   标量、向量、矩阵和张量的区别

   对向量、矩阵、转置及基本运算（向量和矩阵的加法）进行了简单介绍。同时介绍了Numpy的相关函数，并简要讨论了广播机制。

2. 矩阵与向量的乘法

   

   点积详解

   本章主要讲解点积（向量和矩阵的乘法），并探讨其相关性质。随后，我们将学习如何用矩阵形式表示线性方程组，这是后续章节的基础内容。

3. 单位矩阵与逆矩阵

   

   单位矩阵

   本节将介绍两种重要的矩阵：单位矩阵和逆矩阵。我们将探讨它们在线性代数中的重要性，以及如何利用Numpy进行操作。最后，通过一个实例演示如何使用逆矩阵求解线性方程组。

4. 线性相关与张成空间

   

   方程组可能无解、有唯一解或无穷多解

在这一章中，我们将继续研究线性方程组。我们会看到，这样的方程组要么没有解，要么有唯一解，要么有无穷多解。我们将探讨这一结论背后的直觉、图形表示以及证明。接着，我们会回到方程组的矩阵形式，并讨论吉尔伯特·斯特兰格所说的“行图”（从行的角度看，即多个方程）和“列图”（从列的角度看，即系数的线性组合）。我们还会介绍什么是线性组合。最后，我们将通过例子来理解超定方程组和欠定方程组。

5. 范数

   

   3维空间中平方L2范数的形状

   向量的范数是一种函数，它接受一个向量作为输入，并输出一个正数值。可以将其视为向量的“长度”。例如，它常用于评估模型预测值与真实值之间的距离。我们将结合实例介绍不同类型的范数（$L^0$、$L^1$、$L^2$等）。

6. 特殊类型的矩阵和向量

   

   左图为对角矩阵，右图为对称矩阵

   在2.3中，我们已经介绍了一些非常有趣的特殊矩阵。本章将继续探讨其他类型的向量和矩阵。虽然篇幅不大，但对理解后续内容非常重要。

7. 特征分解

   

   本章将介绍线性代数中的一些重要概念。首先，我们将了解特征向量和特征值的基本思想。我们会看到，矩阵可以被视作一种线性变换，而当矩阵作用于其特征向量时，会得到方向不变的新向量。随后，我们将学习如何将二次方程表示为矩阵形式，并发现对应矩阵的特征分解可用于求解该二次方程的极小值和极大值。此外，我们还将展示如何用Python可视化线性变换！

8. 奇异值分解

   

   我们将学习另一种矩阵分解方法：奇异值分解（SVD）。自本系列开始以来，我一直强调矩阵可以被视为空间中的线性变换。通过SVD，我们可以把一个矩阵分解成三个新的矩阵。这些新矩阵可以被看作是空间的“子变换”。与其一次性完成整个变换，不如将其分解为三次较小的变换。作为附加内容，我们还将把SVD应用于图像处理，观察它对鹅“露西”这张图片的效果。敬请继续阅读！

9. 摩尔-彭罗斯伪逆

   

   我们已经知道，并非所有矩阵都存在逆矩阵。这很遗憾，因为逆矩阵常用于求解线性方程组。在某些情况下，方程组可能无解，从而导致逆矩阵不存在。然而，找到一个近似解（即误差最小化）仍然很有意义。这时就可以使用伪逆！我们将举例说明如何利用伪逆求一组数据点的最佳拟合直线。

10. 迹运算符

    

    矩阵的迹

    本章将介绍矩阵的迹是什么。这一概念将在最后一章关于主成分分析（PCA）的内容中用到。

11. 行列式

    

    矩阵行列式与其所代表的线性变换之间的联系

    本章的主题是矩阵的行列式。这个特殊的数值能够告诉我们许多关于矩阵的信息！

12. 示例：主成分分析

    **梯度下降法**

    这是本线性代数系列的最后一章！主题是主成分分析（PCA）。我们将运用之前各章学到的知识，来理解这一重要的数据分析工具！

要求

本内容面向初学者，但最好具备一定的数学基础。

祝您阅读愉快

希望您能在这套系列中找到感兴趣的内容。我已尽力确保内容的准确性。如果您发现任何错误、误解或错别字，请随时告知！您可以通过电子邮件与我联系，或者在GitHub上的笔记本中提交问题和拉取请求。

参考文献

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press.

deepLearningBook-Notes 快速上手指南

deepLearningBook-Notes 是一个基于《Deep Learning Book》（Goodfellow 等著）第二章“线性代数”的开源学习系列。它通过直观的图解、数学推导和 Python 代码示例，帮助开发者深入理解深度学习背后的线性代数核心概念。

环境准备

本项目主要包含一系列 Jupyter Notebooks 和博客文章，因此你需要一个支持 Python 数据科学库的运行环境。

• 操作系统：Windows, macOS 或 Linux
• Python 版本：推荐 Python 3.8 及以上版本
• 核心依赖库：
  • numpy：用于矩阵运算和线性代数操作
  • matplotlib：用于绘制几何图形和可视化线性变换
  • scipy：提供额外的科学计算支持
  • jupyter 或 jupyterlab：用于运行和交互查看 Notebook 文件

国内加速建议：在安装依赖时，推荐使用清华源或阿里源以提升下载速度。

安装步骤

1. 克隆项目

首先，将仓库克隆到本地：

git clone https://github.com/hadrienj/deepLearningBook-Notes.git
cd deepLearningBook-Notes

2. 创建虚拟环境（推荐）

为了避免依赖冲突，建议创建独立的虚拟环境：

python -m venv dl-notes-env
# Windows
dl-notes-env\Scripts\activate
# macOS/Linux
source dl-notes-env/bin/activate

3. 安装依赖

使用 pip 安装所需库。推荐使用国内镜像源：

pip install numpy matplotlib scipy jupyterlab -i https://pypi.tuna.tsinghua.edu.cn/simple

或者，如果项目根目录包含 requirements.txt 文件，可直接运行：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

该项目按章节组织，每个章节对应一个或多个 Jupyter Notebook 文件。以下以第一章“标量、向量、矩阵和张量”为例演示如何开始学习。

启动 Jupyter Lab

在项目根目录下启动服务：

jupyter lab

浏览器会自动打开 Jupyter 界面。

运行示例代码

1. 在文件浏览器中，进入对应章节文件夹，例如 2.1 Scalars, Vectors, Matrices and Tensors/。
2. 打开 .ipynb 文件（如 Deep-Learning-Book-Series-2.1.ipynb）。
3. 逐个单元格运行代码，观察输出结果和生成的几何图形。

最简单的代码示例（来自笔记内容）：

以下代码展示了如何使用 NumPy 创建向量并计算点积，这是后续理解矩阵乘法的基础：

import numpy as np
import matplotlib.pyplot as plt

# 定义两个向量
u = np.array([2, 5])
v = np.array([4, 1])

# 计算点积 (Dot Product)
dot_product = np.dot(u, v)

print(f"Vector u: {u}")
print(f"Vector v: {v}")
print(f"Dot product of u and v: {dot_product}")

# 可视化向量
plt.quiver(0, 0, u[0], u[1], angles='xy', scale_units='xy', scale=1, color='r', label='u')
plt.quiver(0, 0, v[0], v[1], angles='xy', scale_units='xy', scale=1, color='b', label='v')
plt.xlim(-1, 6)
plt.ylim(-1, 6)
plt.grid()
plt.legend()
plt.title("Visualization of Vectors u and v")
plt.show()

学习路径建议

按照 Syllabus 顺序依次学习：

1. 基础概念：标量、向量、矩阵、张量 (2.1)
2. 核心运算：矩阵与向量乘法 (2.2)
3. 关键矩阵：单位矩阵与逆矩阵 (2.3)
4. 深入理论：线性相关、范数、特征分解 (2.4 - 2.7)
5. 高级应用：奇异值分解 (SVD)、伪逆、主成分分析 (PCA) (2.8 - 2.12)

通过修改代码中的数值并重新运行，你可以直观地看到线性变换对空间的影响，从而加深对理论的理解。