机器学习算法的超参数优化

本代码提供了机器学习算法的超参数优化实现，相关方法在论文中有所阐述：
L. Yang 和 A. Shami，《关于机器学习算法的超参数优化：理论与实践》（arXiv预印本），载于《Neurocomputing》第415卷，第295–316页，2020年，doi: https://doi.org/10.1016/j.neucom.2020.07.061。

为了使机器学习模型适应不同的问题，必须对其超参数进行调优。为机器学习模型选择最佳的超参数配置会直接影响其性能。本文研究了常见机器学习模型的超参数优化问题，介绍了几种最先进的优化技术，并探讨了如何将这些技术应用于机器学习算法。此外，文中还列举了许多用于超参数优化问题的现有库和框架，并讨论了该领域尚未解决的一些开放性挑战。同时，我们在基准数据集上进行了实验，比较了不同优化方法的性能，并提供了超参数优化的实际应用示例。

本文及配套代码将帮助工业用户、数据分析师和研究人员更有效地开发机器学习模型，从而快速找到合适的超参数配置。

• 注：完整的**自动化机器学习（AutoML）**教程代码可在以下仓库中找到：AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics
  • 包括自动化数据预处理、自动化特征工程、自动化模型选择、超参数优化以及自动化模型更新（应对概念漂移）。

论文

关于机器学习算法的超参数优化：理论与实践
单栏版：arXiv
双栏版：Elsevier

快速导航

第3节：常见机器学习算法的重要超参数
第4节：超参数优化技术介绍
第5节：如何为不同机器学习模型选择优化技术
第6节：常用的Python超参数优化库/工具
第7节：实验结果（示例代码见“HPO_Regression.ipynb”和“HPO_Classification.ipynb”）
第8节：开放性挑战与未来研究方向
第3–6节总结表：表2——对常见机器学习模型、其超参数、适用的优化技术以及可用的Python库的全面概述
第8节总结表：表10——超参数优化研究的开放性挑战及未来发展方向

实现

本仓库提供了机器学习算法超参数优化的示例代码。

回归问题示例代码

HPO_Regression.ipynb
使用的数据集： 波士顿房价数据集

分类问题示例代码

HPO_Classification.ipynb
使用的数据集： 手写数字MNIST数据集

涉及的机器学习与深度学习算法

• 随机森林（RF）
• 支持向量机（SVM）
• K近邻算法（KNN）
• 人工神经网络（ANN）

超参数配置空间

机器学习模型	超参数	类型	搜索空间
随机森林分类器	n_estimators	离散	[10,100]
	max_depth	离散	[5,50]
	min_samples_split	离散	[2,11]
	min_samples_leaf	离散	[1,11]
	criterion	分类	'gini', 'entropy'
	max_features	离散	[1,64]
SVM 分类器	C	连续	[0.1,50]
	kernel	分类	'linear', 'poly', 'rbf', 'sigmoid'
KNN 分类器	n_neighbors	离散	[1,20]
神经网络分类器	optimizer	分类	'adam', 'rmsprop', 'sgd'
	activation	分类	'relu', 'tanh'
	batch_size	离散	[16,64]
	neurons	离散	[10,100]
	epochs	离散	[20,50]
	patience	离散	[3,20]
随机森林回归器	n_estimators	离散	[10,100]
	max_depth	离散	[5,50]
	min_samples_split	离散	[2,11]
	min_samples_leaf	离散	[1,11]
	criterion	分类	'mse', 'mae'
	max_features	离散	[1,13]
SVM 回归器	C	连续	[0.1,50]
	kernel	分类	'linear', 'poly', 'rbf', 'sigmoid'
	epsilon	连续	[0.001,1]
KNN 回归器	n_neighbors	离散	[1,20]
神经网络回归器	optimizer	分类	'adam', 'rmsprop'
	activation	分类	'relu', 'tanh'
	loss	分类	'mse', 'mae'
	batch_size	离散	[16,64]
	neurons	离散	[10,100]
	epochs	离散	[20,50]
	patience	离散	[3,20]

HPO 算法

• 网格搜索
• 随机搜索
• Hyperband
• 基于高斯过程的贝叶斯优化 (BO-GP)
• 基于树结构 Parzen 估计器的贝叶斯优化 (BO-TPE)
• 粒子群优化 (PSO)
• 遗传算法 (GA)

需求

• Python 3.5+
• Keras
• scikit-learn
• hyperband
• scikit-optimize
• hyperopt
• optunity
• DEAP
• TPOT

联系方式

如有任何问题或合作机会，请随时与我联系。我非常乐意为您提供帮助。

• 邮箱: liyanghart@gmail.com
• GitHub: LiYangHart 和 Western OC2 Lab
• LinkedIn: Li Yang
• Google 学术: Li Yang 和 OC2 Lab

引用

如果您在研究中使用了本仓库，请引用以下文章：

L. Yang 和 A. Shami, “关于机器学习算法超参数优化：理论与实践,” Neurocomputing, 第415卷, 第295–316页, 2020年, doi: https://doi.org/10.1016/j.neucom.2020.07.061。

@article{YANG2020295,
title = "关于机器学习算法超参数优化：理论与实践",
author = "Li Yang 和 Abdallah Shami",
volume = "415",
pages = "295 - 316",
journal = "Neurocomputing",
year = "2020",
issn = "0925-2312",
doi = "https://doi.org/10.1016/j.neucom.2020.07.061",
url = "http://www.sciencedirect.com/science/article/pii/S0925231220311693"
}

Hyperparameter-Optimization 快速上手指南

本指南基于 Li Yang 和 Abdallah Shami 发表的论文《On hyperparameter optimization of machine learning algorithms: Theory and practice》，帮助开发者快速掌握机器学习算法的超参数优化（HPO）实现。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.5 或更高版本（推荐 Python 3.8+）
• 核心依赖库：
  • scikit-learn: 机器学习基础库
  • Keras: 深度学习框架
  • hyperband: Hyperband 算法实现
  • scikit-optimize: 贝叶斯优化工具
  • hyperopt: 基于 TPE 的贝叶斯优化
  • optunity: 优化算法库
  • DEAP: 进化算法框架（用于遗传算法等）
  • TPOT: 自动化机器学习工具

提示：国内用户建议使用清华源或阿里源加速 pip 包下载，以提升安装速度。

安装步骤

1. 克隆项目代码

首先从 GitHub 克隆本仓库到本地：

git clone https://github.com/LiYangHart/Hyperparameter-Optimization-of-Machine-Learning-Algorithms.git
cd Hyperparameter-Optimization-of-Machine-Learning-Algorithms

2. 安装依赖包

使用 pip 安装所需依赖。为了获得最佳下载速度，推荐使用国内镜像源（如清华大学开源软件镜像站）：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

如果项目中未提供 requirements.txt 文件，您可以手动安装核心库：

pip install scikit-learn keras hyperband scikit-optimize hyperopt optunity DEAP tpot -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

本项目提供了针对回归问题和分类问题的完整示例代码（Jupyter Notebook），涵盖了随机森林 (RF)、支持向量机 (SVM)、K 近邻 (KNN) 和人工神经网络 (ANN) 等模型。

支持的优化算法包括：网格搜索 (Grid Search)、随机搜索 (Random Search)、Hyperband、贝叶斯优化 (BO-GP/BO-TPE)、粒子群优化 (PSO) 和遗传算法 (GA)。

场景一：回归问题超参数优化

以波士顿房价数据集为例，演示如何优化回归模型。

1. 启动 Jupyter Notebook：

   jupyter notebook HPO_Regression.ipynb
   

2. 在 Notebook 中，您将看到针对不同模型（如 RF Regressor, SVM Regressor）定义的超参数搜索空间（例如 n_estimators, max_depth 等）。
3. 直接运行单元格即可执行不同的优化算法（如 Grid Search 或 Bayesian Optimization），并查看性能对比结果。

场景二：分类问题超参数优化

以手写数字识别数据集（MNIST/Digits）为例，演示如何优化分类模型。

1. 启动 Jupyter Notebook：

   jupyter notebook HPO_Classification.ipynb
   

2. 代码中预定义了分类模型的超参数配置空间，包括离散型（如 n_neighbors）、连续型（如 C）和类别型（如 kernel）参数。
3. 运行代码块，比较不同优化策略（如 PSO, GA, Hyperband）在分类任务上的准确率表现。

自定义模型与搜索空间

您可以参考 Notebook 中的 Hyperparameter Configuration Space 表格，修改字典以适配自己的模型。例如，调整随机森林分类器的搜索范围：

# 示例：定义随机森林分类器的搜索空间
rf_param_space = {
    'n_estimators': [10, 100],          # 离散整数
    'max_depth': [5, 50],               # 离散整数
    'criterion': ['gini', 'entropy'],   # 类别选择
    'max_features': [1, 64]             # 离散整数
}

随后调用相应的优化算法函数（如 skopt.gp_minimize 或 hyperopt.fmin）传入该空间进行训练。