机器学习——吴恩达教授 :star2::star2::star2::star2::star:

本页面包含我所有的Coursera机器学习课程及资源 :book:，由吴恩达教授 :man: 提供。

目录

1. 简要介绍
2. 视频讲座索引
3. 编程练习教程
4. 编程练习测试用例
5. 实用资源
6. 课程安排
7. 附加信息
8. 在线电子书
9. 其他信息

简要介绍

本课程主要讨论假设函数以及如何最小化代价函数。

假设函数

假设函数是我们认为（或希望）与真实函数相似的某种函数，即我们想要建模的目标函数。以电子邮件垃圾邮件分类为例，它就是我们用来区分垃圾邮件和非垃圾邮件的规则。

代价函数

代价函数，也称为平方误差之和(SSE)，用于衡量我们的假设函数与最优假设函数之间的差距。假设函数越接近训练样本，代价函数的值就越小。理论上，我们希望J(θ)=0。

梯度下降法

梯度下降法是一种迭代优化算法。误差函数的梯度始终指向误差函数上升最快的方向。因此，我们可以从一个随机的权重向量开始，然后沿着负梯度方向逐步更新参数（使用学习率α）。

代价函数与梯度下降法的区别

            function J = computeCostMulti(X, y, theta)
                m = length(y); % 训练样本数量
                J = 0;
                predictions =  X*theta;
                sqerrors = (predictions - y).^2;
                J = 1/(2*m)* sum(sqerrors);
            end
            

            function [theta, J_history] = gradientDescentMulti(X, y, theta, alpha, num_iters)    
                m = length(y); % 训练样本数量
                J_history = zeros(num_iters, 1);
                for iter = 1:num_iters
                    predictions =  X * theta;
                    updates = X' * (predictions - y);
                    theta = theta - alpha * (1/m) * updates;
                    J_history(iter) = computeCostMulti(X, y, theta);
                end
            end
            

偏差与方差

在讨论预测模型时，预测误差可以分解为两个主要部分：偏差误差和方差误差。模型在减少偏差和方差之间存在权衡。理解这两种误差有助于我们诊断模型结果，并避免过拟合或欠拟合的问题。

来源：http://scott.fortmann-roe.com/docs/BiasVariance.html

假设函数与代价函数表

| 算法 | 假设函数 | 代价函数 | 梯度下降法 | |-------------------------------------------- |----------------------------------------------------------------------- |------------------------------------------------------------------------------- |--------------------------------------------------------------------------------------- | | 线性回归 | | | | | 多变量线性回归 | | | | | 逻辑回归 | | | | | 多变量逻辑回归 | | | | | 神经网络 | | | | |

图示回归

• 线性回归
• 逻辑回归

视频讲座索引

https://class.coursera.org/ml/lecture/preview

编程练习教程

https://www.coursera.org/learn/machine-learning/discussions/all/threads/m0ZdvjSrEeWddiIAC9pDDA

编程练习测试用例

https://www.coursera.org/learn/machine-learning/discussions/all/threads/0SxufTSrEeWPACIACw4G5w

实用资源

https://www.coursera.org/learn/machine-learning/resources/NrY2G

课程安排：

第一周 - 截止日期：2017年7月16日：

• 欢迎 - pdf - ppt
• 单变量线性回归 - pdf - ppt
• 线性代数复习（可选） - pdf - ppt
• 讲义
• 勘误表

第二周 - 截止日期：2017年7月23日：

• 多变量线性回归 - pdf - ppt
• Octave教程 pdf
• 编程练习1：线性回归 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习笔记

第3周 - 截止日期：2017年7月30日：

• 逻辑回归 - pdf - ppt
• 正则化 - pdf - ppt
• 编程练习2：逻辑回归 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第4周 - 截止日期：2017年8月6日：

• 神经网络：表示 - pdf - ppt
• 编程练习3：多分类与神经网络 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第5周 - 截止日期：2017年8月13日：

• 神经网络：学习 - pdf - ppt
• 编程练习4：神经网络学习 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第6周 - 截止日期：2017年8月20日：

• 机器学习应用建议 - pdf - ppt
• 机器学习系统设计 - pdf - ppt
• 编程练习5：正则化线性回归及偏差与方差 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第7周 - 截止日期：2017年8月27日：

• 支持向量机 - pdf - ppt
• 编程练习6：支持向量机 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第8周 - 截止日期：2017年9月3日：

• 聚类 - pdf - ppt
• 降维 - pdf - ppt
• 编程练习7：K均值聚类与主成分分析 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第9周 - 截止日期：2017年9月10日：

• 异常检测 - pdf - ppt
• 推荐系统 - pdf - ppt
• 编程练习8：异常检测与推荐系统 - pdf - 题目 - 解答
• 讲义
• 勘误表
• 编程练习说明

第10周 - 截止日期：2017年9月17日：

• 大规模机器学习 - pdf - ppt
• 讲义

第11周 - 截止日期：2017年9月24日：

• 应用实例：照片OCR - pdf - ppt

附加信息

• 线性代数复习与参考 Zico Kolter
• CS229讲义
• CS229习题
• 基于机器学习技术的金融时间序列预测
• Octave示例

在线电子书

• 尼尔斯·J·尼尔森《机器学习导论》
• 亚历克斯·斯莫拉和S.V.N.维什瓦纳坦《机器学习导论》
• 杰弗里·斯坦顿《数据科学导论》
• 戴维·巴伯《贝叶斯推理与机器学习》
• 沙伊·沙列夫-施瓦茨和沙伊·本-大卫《理解机器学习》，2014年版
• 哈斯蒂、蒂布希拉尼和弗里德曼《统计学习要素》
• 克里斯托弗·M·毕晓普《模式识别与机器学习》

附加信息

:boom: 课程状态 :point_down:

链接

• 2017年深度学习领域的十大问题是什么？
• 深度学习泡沫何时会破裂？

统计模型

• HMM - 隐马尔可夫模型
• CRFs - 条件随机场
• LSI - 潜在语义索引
• MRF - 马尔可夫随机场

自然语言处理论坛

• SIGIR - 信息检索专题组
• ACL - 计算语言学协会
• NAACL - 计算语言学协会北美分会
• EMNLP - 自然语言处理中的经验方法
• NIPS - 神经信息处理系统大会

Coursera 机器学习 (Andrew Ng) 快速上手指南

本指南基于吴恩达 (Andrew Ng) 教授的经典机器学习课程开源资源整理，旨在帮助开发者快速搭建学习环境并开始练习。

环境准备

本课程主要使用 Octave 或 MATLAB 进行编程练习。对于大多数开发者，推荐使用免费开源的 GNU Octave。

• 操作系统: Windows, macOS, 或 Linux
• 核心依赖:
  • GNU Octave (推荐版本 4.0+)：用于运行 .m 脚本文件。
  • Git: 用于克隆代码仓库。
  • 解压工具: 用于处理课程提供的 .zip 练习文件。
• 前置知识: 基础线性代数知识（仓库中包含复习文档）。

安装 Octave (国内加速建议)

由于官方源下载较慢，建议使用国内镜像源安装：

• Ubuntu/Debian:

  sudo apt-get update
  sudo apt-get install octave
  

• macOS (使用 Homebrew):

  brew install octave
  

• Windows: 访问清华大学开源软件镜像站或国内其他镜像站下载 Octave 安装包进行图形化安装。

安装步骤

1. 克隆项目仓库 获取包含课程笔记、幻灯片和解决方案的代码库：

   git clone https://github.com/<repository-owner>/CourseraMachineLearning.git
   cd CourseraMachineLearning
   

   (注：请将 <repository-owner> 替换为实际的项目所有者用户名)

2. 获取编程练习素材 课程每周的编程作业（含原始骨架代码和数据集）通常以 .zip 形式提供。根据下方的【学习路线】，进入对应周次的目录，解压 Problem 链接指向的压缩包。

   例如，准备第一周的练习：

   # 假设已下载 machine-learning-ex1.zip 到当前目录
   unzip machine-learning-ex1.zip -d week-2/exercises/
   

3. 验证环境 进入练习目录，启动 Octave 并尝试运行简单的成本函数计算脚本，确保无报错：

   octave
   

基本使用

本课程的核心是通过实现 假设函数 (Hypothesis)、代价函数 (Cost Function) 和 梯度下降 (Gradient Descent) 来训练模型。

1. 启动练习

进入具体的练习文件夹（以第一周线性回归为例），在终端输入 octave 启动交互环境。

2. 核心代码实现示例

以下是课程中核心的两个函数实现逻辑，您需要在对应的 .m 文件中填充代码：

计算代价函数 (computeCostMulti.m): 用于衡量假设函数与真实值的误差（均方误差）。

function J = computeCostMulti(X, y, theta)
    m = length(y); % number of training examples
    J = 0;
    predictions =  X*theta;
    sqerrors = (predictions - y).^2;
    J = 1/(2*m)* sum(sqerrors);
end

执行梯度下降 (gradientDescentMulti.m): 通过迭代更新参数 $\theta$ 以最小化代价函数。

function [theta, J_history] = gradientDescentMulti(X, y, theta, alpha, num_iters)    
    m = length(y); % number of training examples
    J_history = zeros(num_iters, 1);
    for iter = 1:num_iters
        predictions =  X * theta;
        updates = X' * (predictions - y);
        theta = theta - alpha * (1/m) * updates;
        J_history(iter) = computeCostMulti(X, y, theta);
    end
end

3. 运行与测试

在 Octave 命令行中调用上述函数进行测试：

% 初始化数据 (具体变量名参考 ex1.m 主脚本)
X = [ones(m, 1), data(:,1)]; 
y = data(:,2);
theta = zeros(2, 1);

% 计算初始代价
J = computeCostMulti(X, y, theta)

% 运行梯度下降
alpha = 0.01;
num_iters = 1500;
[theta, J_hist] = gradientDescentMulti(X, y, theta, alpha, num_iters);

4. 学习路线参考

按照以下周次顺序逐步完成视频学习与编程作业：

• Week 1: 单变量线性回归 (Linear Regression)
• Week 2: 多变量线性回归 & Octave 教程
• Week 3: 逻辑回归 (Logistic Regression) & 正则化
• Week 4-5: 神经网络 (Neural Networks) 表示与学习
• Week 6: 机器学习建议 & 偏差/方差分析
• Week 7: 支持向量机 (SVM)
• Week 8: 聚类 (K-Means) & 降维 (PCA)
• Week 9: 异常检测 & 推荐系统

详细课件 (PDF/PPT) 和习题说明位于各周次目录下的 lectures 和 exercises 文件夹中。