机器学习基础

此仓库收录了乔恩·克罗恩《机器学习基础》课程配套的代码。该课程全面概述了支撑当代机器学习方法（包括深度学习及其他人工智能技术）所需的数学、统计学和计算机科学等领域的知识。

课程共包含八个主题，分为四个学科领域。有关为何这些是至关重要的基础学科领域的详细说明，请参阅下方的“机器学习之家”部分：

• 线性代数
  • 1：线性代数导论
  • 2：线性代数II：矩阵运算
• 微积分
  • 3：微积分I：极限与导数
  • 4：微积分II：偏导数与积分
• 概率与统计
  • 5：概率与信息论
  • 6：统计学导论
• 计算机科学
  • 7：算法与数据结构
  • 8：优化

后继主题建立在先前主题的内容之上，因此建议按照提供的顺序依次学习这八个主题。不过，您也可以根据个人兴趣或对相关知识的熟悉程度，自由选择特定的主题进行学习。尤其是，这四个学科领域相对独立，可以分别单独学习。

地点与时间

这八个《机器学习基础》主题最初由乔恩·克罗恩（jonkrohn.com）于2020年5月至9月期间，在O'Reilly学习平台上以线上直播形式提供（并于2021年7月至12月再次开设；具体讲座日期请参见这里）。

为适应您的学习偏好，相关内容现已通过多种渠道提供：

• YouTube
  • 线性代数完整播放列表在此，并附有详细博文
  • 微积分完整播放列表在此
  • 概率播放列表正在积极开发中（请在jonkrohn.com订阅我的邮件通讯，以便及时获取新视频发布通知）
  • 随着时间推移，我的《机器学习基础》课程的所有主题都将免费在YouTube上提供。
• O'Reilly（许多雇主和教育机构可免费访问该平台；若您无访问权限，可通过我的专属SDSPOD23优惠码获得30天免费试用链接）
  • 线性代数视频于2020年12月发布（免费一小时课程）
  • 微积分视频于2021年1月发布（免费一小时课程）
  • 概率与统计视频于2021年5月发布（免费一小时课程）
  • 计算机科学视频于2021年6月发布（免费一小时课程）
  • （为方便起见，该出版社已将上述四套视频系列共计28小时的内容整合为一个统一的播放列表在此。）
• Udemy：所有线性代数和微积分内容自2021年9月起已在一门名为《机器学习的数学基础》的课程中上线（免费概览视频在此）。尽管该课程本身即可作为数学主题的完整入门，但第5至第8个主题最终将以免费附加材料的形式加入。
• 开放数据科学大会：整个系列课程于2020年12月至2021年6月期间以线上直播形式讲授。所有培训的按需录像现可在Ai+平台上观看。
• 书籍：目前已与培生出版社达成出版协议；待我有足够时间投入时，将开始撰写书稿，并通过oreilly.com提前发布章节草稿。

（请注意，虽然YouTube包含了全部授课内容，但付费选项——例如Udemy、O'Reilly和ODSC——还提供了练习题的完整解答讲解，而这些内容在YouTube上并未公开。此外，部分付费选项还包含平台特有的功能，如互动测试、速查表以及成功完成课程后的证书颁发等。）

推送通知

如需及时了解未来的直播课程、新视频发布及书籍章节更新，请考虑订阅乔恩·克罗恩在其主页上的邮件通讯。

笔记本文件

所有代码均以Jupyter笔记本的形式提供，位于此目录中。这些笔记本旨在配合（免费的）Colab云环境使用，目前也仅支持该环境。

当然，如果您习惯于在本地运行Jupyter笔记本，同样可以这样做（请注意，此仓库的Dockerfile中所列的库版本可能并非最新，但可作为在Docker容器中运行Jupyter的一个合理起点）。

机器学习之屋

要成为一名杰出的数据科学家或机器学习工程师，仅仅掌握如何通过最流行的库（如 scikit-learn、Keras）提供的抽象接口来使用机器学习算法是远远不够的。要想训练出创新性的模型，或者将其部署到生产环境中高效运行，深入理解机器学习理论（图中以中央紫色楼层表示）可能是有益的，甚至是必不可少的。而要培养这种对机器学习的深刻理解，就必须具备对基础学科的实际掌握。

当“机器学习之屋”的根基稳固时，从通用的机器学习原理（紫色楼层）跃迁到专门的机器学习领域（顶层灰色楼层），例如深度学习、自然语言处理、机器视觉和强化学习等，也会变得更加容易。这是因为，应用越专业化，其具体的实现细节往往只存在于学术论文或研究生级别的教科书中——而这些资料通常都假定读者已经掌握了基础学科的知识。

本系列的内容可能对你尤其有帮助，如果你：

• 使用高级软件库来训练或部署机器学习算法，并希望了解这些抽象背后的 fundamental 基础知识，从而扩展自己的能力；
• 是一名数据科学家，希望进一步巩固自己专业领域核心知识的理解；
• 是一名软件开发者，希望为将机器学习算法部署到生产系统中打下坚实的基础；
• 是一名数据分析员或人工智能爱好者，希望转型成为数据科学家或数据/机器学习工程师，因此渴望从底层开始深入理解这一领域（这非常明智！）；
• 或者只是单纯地想理解线性代数、微积分、概率论、统计学、算法和/或数据结构等基础知识。

在过去几十年里，这些基础学科几乎没有变化，而且在未来几十年内也很可能保持不变。然而，它们却是所有机器学习和数据科学方法的核心所在。因此，这些基础构成了一个稳固、贯穿整个职业生涯的基石。

教学方法

本系列的目的是为你提供对所涵盖内容的实用且功能性理解。我们将为每个主题提供背景介绍，突出其与机器学习的相关性。

如同 Jon Krohn 创作的其他材料一样（例如书籍《Deep Learning Illustrated》以及他长达18小时的视频课程《Deep Learning with TensorFlow, Keras, and PyTorch》），本系列的内容通过以下方式生动呈现：

• 生动的全彩插图
• 配有完整解答的纸笔练习题
• 数百个基于 Jupyter Notebook 的简单 Python 代码示例（特别关注 PyTorch 和 TensorFlow 库）
• 实用的机器学习应用
• 用于深入探索你感兴趣主题的资源

先修条件

编程：所有代码演示都将使用 Python，因此具备 Python 或其他面向对象编程语言的经验将有助于你更好地跟随代码示例。一个很好的（而且免费的）Python 入门资源是 Al Sweigart 的《Automate the Boring Stuff》。

数学：熟悉中学阶段的数学知识将使课程更容易理解。如果你能够自如地处理定量信息——比如读懂图表、进行简单的方程变形——那么你应该能够很好地跟上所有的数学内容。如果你在学习本《机器学习基础》课程的过程中发现自己存在一些数学知识上的空白，我推荐使用免费且全面的 Khan Academy 来填补这些空白。

Oboe

最后，这里有一张由才华横溢的艺术家 Aglaé Bassens 创作的 机器学习基础 吉祥物 Oboe 的插图：

ML-foundations 快速上手指南

ML-foundations 是 Jon Krohn 编写的机器学习基础课程配套代码库，涵盖线性代数、微积分、概率统计及计算机科学（算法与优化）四大核心领域。本指南将帮助你快速搭建环境并运行示例。

环境准备

本项目主要基于 Python 和 Jupyter Notebook 运行，官方强烈推荐在云端环境中直接使用，以避免本地环境配置冲突。

系统要求

• 操作系统：Windows / macOS / Linux（无特殊限制）
• 浏览器：现代浏览器（Chrome, Firefox, Edge 等）
• 网络：需能访问 GitHub 和 Google Colab（如网络受限，请参考下方“国内加速方案”）

前置依赖知识

• 编程：具备基础的 Python 或面向对象编程语言经验。
• 数学：熟悉高中水平的数学知识（图表理解、简单方程变换）。如有欠缺，建议先通过 Khan Academy 补充。

安装步骤

方案一：使用 Google Colab（推荐）

这是官方唯一主动支持的环境，无需本地安装任何软件，开箱即用。

1. 访问项目 GitHub 仓库的 notebooks 目录。
2. 点击任意 .ipynb 文件（例如 1-intro-to-linear-algebra.ipynb）。
3. 点击页面顶部的 "Open in Colab" 按钮。
4. Colab 会自动加载环境并挂载代码，点击单元格左侧的播放按钮即可运行。

方案二：本地运行（进阶）

如果你熟悉本地 Jupyter 环境，可按以下步骤操作：

1. 克隆仓库

   git clone https://github.com/jonkrohn/ML-foundations.git
   cd ML-foundations
   

2. 安装依赖 参考仓库中的 Dockerfile 版本信息，安装基础数据科学库（建议使用虚拟环境）：

   pip install numpy pandas matplotlib scipy scikit-learn torch tensorflow jupyterlab
   

3. 启动 Jupyter

   jupyter lab notebooks/
   

国内加速方案提示： 由于 Google Colab 在中国大陆地区访问受限，国内开发者可采取以下替代方案：

• 使用 阿里云 PAI-DSW 或 百度 AI Studio 等国产云平台，导入 GitHub 仓库链接直接运行。
• 本地运行时，配置 pip 国内镜像源加速下载：

  pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
  

  (注：本项目未提供独立的 requirements.txt，请手动安装上述列出的库)

基本使用

课程共包含 8 个主题，建议按顺序学习，因为后续内容依赖于前面的基础知识。

运行第一个示例：线性代数入门

1. 打开笔记 在 Colab 或本地 Jupyter 中打开 1-intro-to-linear-algebra.ipynb。

2. 执行代码 找到定义矩阵的代码单元格，点击运行（Shift + Enter）：

   import numpy as np
   
   # 创建一个简单的 2x2 矩阵
   A = np.array([[1, 2], 
                 [3, 4]])
   
   print("Matrix A:")
   print(A)
   
   # 计算矩阵的转置
   print("\nTranspose of A:")
   print(A.T)
   

3. 查看结果 输出将显示矩阵及其转置形式，配合笔记中的图文讲解，直观理解线性代数概念。

学习路径建议

按照以下顺序依次打开 notebooks 目录下的文件进行学习：

1. Linear Algebra: 1-intro-to-linear-algebra.ipynb -> 2-linear-algebra-ii.ipynb
2. Calculus: 3-calculus-i.ipynb -> 4-calculus-ii.ipynb
3. Probability & Statistics: 5-probability.ipynb -> 6-statistics.ipynb
4. Computer Science: 7-algos-and-data-structures.ipynb -> 8-optimization.ipynb

每个 Notebook 均包含生动的插图、纸笔练习题（含解答）以及基于 PyTorch/TensorFlow 的 Python 代码实例。