机器学习（周志华）（Machine Learning (Zhou Zhihua) 课后练习）

---

本书《机器学习》（Machine Learning）作者周志华教授的课后练习答案（即思路、代码）。

ps. 所有代码练习均在 Python 的 eclipse-pydev 环境中实现。

更多信息：欢迎访问我的博客：PnYuan - 周志华《机器学习》习题解答 和 CSDN - 周志华《机器学习》课后习题解答系列

(更新中...2017-7-25)

Ch6.支持向量机 (Support Vector Machine)

练习包括(exercises include)：

• 支持向量分析实验(code here)；
• 支持向量机与BP网络/C4.5决策树对比实验（experiment of SVM/BP/C4.5）(code here)；
• 线性核SVM与LDA的关系（comparison of linear kernel SVM and LDA）；
• 高斯核SVM与RBF网络的关系（comparison of RBF kernel SVM and RBF net）；
• SVM对噪声敏感的原因（reason of noise-sensitive）；
• SVR实验（experiment of SVR）(code here)；
• 核对率回归设计（about kernel logistic regression - KLR）；

Ch5.神经网络 (Neural Networks)

练习包括(exercises include)：

• 激活函数选择考虑（selection of activation function）；
• Sigmoid激活函数与对率回归的联系（the relationships between Sigmoid() and Logistic Regression）；
• BP算法推导（conduction of BP algorithm）；
• 学习率分析（analysis of learning rate in NN training）；
• 标准BP算法和累积BP算法对比实验（comparative experiment of BP）(code here)；
• BP算法改进（improvement of BP algorithm）(code here)；
• RBF神经网络实现（implementation of RBF network）(code here)；
• SOM神经网络实验（experiment of SOM network）(code here)；
• 卷积神经网络实验 - 字符识别（experiment of CNN on MNIST）(code here)；

Ch4.决策树 (Decision Tree)

练习包括(exercises include)：

• 决策树划分选择准则；
• 编程实现ID3算法（implementation of ID3）(code here)；
• 编程实现CART算法与剪枝操作（implementation of CART and pruning）(code here)；
• 多变量决策树生成方式（multivariate decision tree）；
• 非递归决策树生成方法（generation of decision - non-recursive approach using DFS/BFS）

Ch3.线性模型 (Linear Model)

练习包括(exercises include)：

• 分析偏置项b（bias terms）；
• 证明对数似然是凸函数（convex functions）；
• 编程实现对率回归（implementation of logistic regression）(code here)；
• 实验比较k-fold_CV和LOOCV（analysis of cross-validation）(code here)；
• 编程实现线性判别分析（implementation of LDA）（code here）；
• 线性判别分析的非线性拓展（nonlinear stretching of LDA）；
• 最优ECOC编码方式；
• 多分类到二分类分解时类别不平衡的考虑（class-imbalance）。

Ch2.模型评估与选择 (Model Evaluation and Selection)

练习包括(exercises include)：

• 分层抽样(stratified sampling)划分训练集与测试集；
• 留一法(leave-one-out)与k-折交叉验证法(k-fold cross validation)比较;
• F1值与BEP的关联;
• TPR、FPR、P、R之间的关联;
• AUC推导;
• 错误率与ROC的关系
• ROC曲线与代价曲线(cost-curve)的对应关系;

Ch1.绪论 (Introduction)

练习包括(exercises include)：

• 求版本空间(version space)；
• 析合范式(disjunctive normal form)提升假设空间(hypothesis space)；
• 噪声环境(noise)下归纳偏好(inductive bias)考虑；

Machine-Learning_ZhouZhihua 快速上手指南

环境准备

系统要求

• 操作系统：支持 Windows、macOS 或 Linux。
• Python 版本：建议使用 Python 3.6 及以上版本。
• 开发环境：代码主要在 Eclipse with PyDev 环境下开发，但你也可以使用任何你喜欢的 Python IDE 或编辑器（如 PyCharm、VS Code、Jupyter Notebook 等）。

前置依赖

项目代码主要依赖于 Python 的科学计算和机器学习常用库。建议使用以下命令通过 清华镜像源（国内加速）安装基础依赖：

pip install numpy scipy scikit-learn matplotlib pandas -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：部分章节的练习（如神经网络、卷积神经网络）可能需要额外的库，例如 tensorflow 或 keras。请根据具体代码文件中的 import 语句提示，按需安装。

安装步骤

本项目为习题解答代码仓库，无需复杂的安装过程。获取代码的方式如下：

1. 克隆仓库（推荐）： 打开终端（命令行），运行以下命令将项目下载到本地：

   git clone https://github.com/PnYuan/Machine-Learning_ZhouZhihua.git
   

2. 直接下载： 如果你没有安装 Git，可以访问项目 GitHub 主页，直接点击 “Code” -> “Download ZIP” 下载压缩包，然后解压到本地目录。

基本使用

项目结构按周志华《机器学习》教材的章节组织。每个章节的文件夹内包含了该章课后练习的解答思路和实现代码。

最简单的使用示例

假设你想运行第3章“线性模型”中对率回归（Logistic Regression）的示例代码：

1. 进入项目根目录。
2. 导航到对应章节的代码文件夹：

   cd ch3_linear_model/3.3_logistic_regression_watermelon
   

3. 查看该目录下的 Python 文件（例如 logistic_regression.py），使用 Python 解释器运行它：

   python logistic_regression.py
   

代码结构与学习建议

• ch1_introduction/ - 绪论：包含版本空间、假设空间等基础概念的推导与思考。
• ch2_model_evaluation_and_selection/ - 模型评估与选择：包含交叉验证、性能度量（如F1、ROC、AUC）的分析与推导。
• ch3_linear_model/ - 线性模型：包含对率回归、LDA的实现及对比实验。
• ch4_decision_tree/ - 决策树：包含ID3、CART算法的完整实现及剪枝操作。
• ch5_neural_networks/ - 神经网络：包含BP算法、RBF网络、SOM、CNN等模型的实现与实验。
• ch6_support_vector_machine/ - 支持向量机：包含SVM、SVR的实验及与其它模型的对比。

最佳实践：建议结合教材《机器学习》（周志华 著）的对应章节内容，先阅读每个练习目录下的代码和注释（如有），再运行代码观察结果，以加深对机器学习算法原理和实现细节的理解。