用于静态与动态数据分析的AutoML实现

本代码提供了一种针对静态和动态数据分析问题的自动化机器学习（AutoML）实现。它以物联网异常检测为例，使用多种机器学习算法及优化/自动机器学习方法（用于自动化和优化机器学习算法），展示了如何在机器学习/数据分析流程中实现所有关键步骤的自动化，包括自动化数据预处理、自动化特征工程、自动化模型选择、超参数优化（HPO）以及自动化模型更新（适应模型漂移）。该代码也可用作教程，帮助机器学习研究人员在任何特定任务上自动获得具有最优学习性能的优化机器学习模型。

• 批处理/静态学习：批处理学习是传统的机器学习和数据分析流程。这种方法以批次方式分析静态的物联网数据，通常需要在训练模型之前访问整个数据集。
• 在线/持续学习：在线学习或持续学习技术能够在动态的物联网环境中，利用不断涌入的在线数据流来训练模型，并解决概念漂移问题（即数据分布的变化）。

本代码同时也是发表在**《工程应用人工智能》**（IF: 7.8）期刊上的综述论文的实现：
L. Yang 和 A. Shami, “动态环境中的物联网数据分析：从自动化机器学习视角”，工程应用人工智能, 第116卷，第1–33页，2022年，doi: https://doi.org/10.1016/j.engappai.2022.105366。

这篇论文及其配套代码将帮助工业用户、数据分析师和研究人员更好地利用自动化技术开发机器学习模型。

• 一份全面的超参数优化（自动调整机器学习算法的超参数以达到最佳性能）教程代码可在以下链接找到：Hyperparameter-Optimization-of-Machine-Learning-Algorithms
  • 获得1,200+ GitHub星标
  • 被期刊和会议论文引用1,500+次

论文链接

动态环境中的物联网数据分析：从自动化机器学习视角
单栏版：arXiv
双栏版：Elsevier

AutoML流程与步骤

1. 自动化数据预处理
2. 自动化特征工程
3. 自动化模型选择
4. 超参数优化
5. 自动化模型更新（用于应对概念漂移，仅适用于在线学习和数据流分析）

论文快速导航

第3节：物联网数据分析概述
第3节：模型学习（介绍所有常见机器学习算法）
第4节：AutoML概述及优化技术（介绍什么是AutoML及其相关技术）
第5节：自动化数据预处理
第6节：自动化特征工程
第7节：通过处理概念漂移进行自动化模型更新
第8节：评估指标与验证方法的选择
第9节：AutoML工具与库
第10节：案例研究（实验结果，示例代码见“AutoML_Batch_Learning_CIC.ipynb”）
第11节：开放挑战与未来研究方向
第3节总结表：表1和表2——对常见机器学习模型、其超参数、优缺点以及适用的物联网任务的全面概述
第4节总结表：表3——CASH和HPO问题中常用优化方法的比较
第7节总结表：表5——用于自动化模型更新的概念漂移处理方法的比较
第10节总结表：表6——所提出的AutoML流程的具体规范
第11节总结表：表12——将AutoML应用于物联网数据分析所面临的挑战及未来研究方向

实现

• 针对静态/批处理数据分析的AutoML实现可在AutoML_Batch_Learning_Dataset_1.ipynb和AutoML_Batch_Learning_Dataset2.ipynb中找到。

• 针对动态/在线数据流分析的AutoML实现可在AutoML_Online_Learning_Dataset_1.ipynb和AutoML_Online_Learning_Dataset2.ipynb中找到。

静态机器学习与深度学习算法

• 随机森林（RF）
• LightGBM
• K近邻（KNN）
• 朴素贝叶斯（NB）
• 人工神经网络（ANN）

动态/在线学习算法

• Hoeffding树（HT）
• 杠杆式Bagging（LB）
• 自适应随机森林（ARF）
• 流式随机补丁（SRP）

优化/AutoML算法

• 网格搜索
• 基于树形帕尔森估计器的贝叶斯优化（BO-TPE）
• 粒子群优化（PSO）

数据集

1. CICIDS2017数据集，一个用于入侵检测问题的流行网络流量数据集

   • 公开获取地址：https://www.unb.ca/cic/datasets/ids-2017.html

2. IoTID20数据集，一个新颖的物联网僵尸网络数据集

   • 公开获取地址：https://sites.google.com/view/iot-network-intrusion-dataset/home

要求

• Python 3.6及以上版本
• Keras
• scikit-learn
• hyperopt
• optunity
• LightGBM
• River

联系方式

如有任何问题或合作机会，欢迎随时联系我。我非常乐意为您提供帮助。

• 邮箱：liyanghart@gmail.com
• GitHub：LiYangHart 和 Western OC2 Lab
• LinkedIn：Li Yang
• Google 学术：Li Yang 和 OC2 Lab

引用

如果您在研究中使用了本仓库，请引用以下文章：

L. Yang 和 A. Shami，“动态环境中的物联网数据分析：从自动化机器学习视角”，《人工智能工程应用》，第 116 卷，第 1–33 页，2022 年，doi：https://doi.org/10.1016/j.engappai.2022.105366。

@article{YANG2022105366,
title = {IoT 数据分析在动态环境中的应用：从自动化机器学习视角},
author = {Li Yang 和 Abdallah Shami},
journal = {人工智能工程应用},
volume = {116},
pages = {1-33},
year = {2022},
doi = {https://doi.org/10.1016/j.engappai.2022.105366},
url = {https://www.sciencedirect.com/science/article/pii/S0952197622003803}
}

AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 快速上手指南

本工具提供了一套完整的自动化机器学习（AutoML）实现，适用于静态（批量）和动态（在线流式）数据分析场景，特别针对物联网（IoT）异常检测进行了案例演示。它涵盖了从数据预处理、特征工程、模型选择、超参数优化到模型自动更新的全流程自动化。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：Python 3.6 或更高版本
• 核心依赖库：
  • Keras (深度学习)
  • scikit-learn (传统机器学习)
  • hyperopt / optunity (超参数优化)
  • LightGBM (梯度提升框架)
  • River (在线/流式机器学习)

提示：国内开发者建议使用清华源或阿里源加速 Python 包的安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/Western-OC2-Lab/AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics.git
   cd AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics
   

2. 安装依赖包 您可以手动安装所需库，或使用以下命令一次性安装（推荐配置国内镜像源）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple keras scikit-learn hyperopt optunity lightgbm river
   

   注：如果 River 库安装困难，也可尝试 pip install riverml。

基本使用

本项目通过 Jupyter Notebook 提供了两种主要场景的完整示例：静态/批量学习 和 动态/在线学习。无需编写额外代码，直接运行对应的 Notebook 文件即可体验全流程 AutoML。

场景一：静态/批量数据分析 (Static/Batch Learning)

适用于传统机器学习任务，数据一次性加载，模型训练后固定。

• 示例文件：
  • AutoML_Batch_Learning_Dataset_1.ipynb
  • AutoML_Batch_Learning_Dataset_2.ipynb
• 启动方式：

  jupyter notebook AutoML_Batch_Learning_Dataset_1.ipynb
  

• 功能涵盖：
  • 自动化数据预处理
  • 自动化特征工程
  • 模型选择（RF, LightGBM, KNN, NB, ANN 等）
  • 超参数优化（网格搜索、贝叶斯优化 TPE、粒子群优化 PSO）

场景二：动态/在线数据流分析 (Dynamic/Online Learning)

适用于 IoT 数据流环境，处理概念漂移（Concept Drift），模型随数据流入持续更新。

• 示例文件：
  • AutoML_Online_Learning_Dataset_1.ipynb
  • AutoML_Online_Learning_Dataset_2.ipynb
• 启动方式：

  jupyter notebook AutoML_Online_Learning_Dataset_1.ipynb
  

• 功能涵盖：
  • 流式数据处理
  • 在线算法应用（Hoeffding Tree, Adaptive Random Forest 等）
  • 自动化模型更新以应对数据分布变化

数据集说明

示例代码默认使用以下公开数据集（需自行下载并放置于指定目录，或在 Notebook 中修改路径）：

1. CICIDS2017：网络入侵检测数据集。
2. IoTID20：物联网僵尸网络数据集。

运行 Notebook 后，您将看到从数据加载到最终模型评估及可视化的完整输出结果。