基于机器学习的入侵检测系统

本仓库包含项目“IDS-ML：基于机器学习的入侵检测系统开发”的代码。该代码及所提出的入侵检测系统（IDS）是通用模型，可用于任何IDS和异常检测应用。在本项目中，已发表三篇论文：

• L. Yang, A. Moubayed, I. Hamieh 和 A. Shami，《基于树的车联网智能入侵检测系统》（arXiv预印本），2019年IEEE全球通信大会（GLOBECOM），2019年，第1–6页，doi: 10.1109/GLOBECOM38437.2019.9013892。
• L. Yang, A. Moubayed 和 A. Shami，《MTH-IDS：面向车联网的多层混合入侵检测系统》（arXiv预印本），IEEE物联网期刊，第9卷，第1期，第616–632页，2022年1月1日，doi: 10.1109/JIOT.2021.3084796。
• L. Yang, A. Shami、G. Stevens 和 S. DeRusett，《LCCDE：基于决策的集成框架用于车联网入侵检测》（arXiv预印本），2022年IEEE全球通信大会（GLOBECOM），2022年，第1–6页，doi: 10.1109/GLOBECOM48099.2022.10001280。

本仓库的代码介绍已在公开文献中发布：

• L. Yang 和 A. Shami，《IDS-ML：基于机器学习的入侵检测系统开源代码》（ScienceDirect文章），Software Impacts，第14卷，第1–4页，2022年，doi: 10.1016/j.simpa.2022.100446。

本仓库通过实现多种机器学习算法，提出了三种入侵检测系统，包括基于树的算法（决策树、随机森林、XGBoost、LightGBM、CatBoost等）、无监督学习算法（k-means）、集成学习算法（堆叠、提出的LCCDE）以及超参数优化技术（贝叶斯优化）。

• 另一种使用卷积神经网络（CNN）和迁移学习技术的入侵检测系统开发代码可在以下链接找到：Intrusion-Detection-System-Using-CNN-and-Transfer-Learning

• 一份全面的超参数优化教程代码可在以下链接找到：Hyperparameter-Optimization-of-Machine-Learning-Algorithms

论文摘要

论文1：基于树的车联网智能入侵检测系统

  自动驾驶汽车（AVs）作为智能交通系统（ITSs）中的前沿技术，有望提升交通安全与驾驶效率。车辆到万物（V2X）通信技术使车辆与其他基础设施之间能够相互通信。然而，自动驾驶汽车和车联网（IoV）容易遭受拒绝服务攻击、欺骗攻击和嗅探攻击等多种网络攻击。本文提出了一种智能IDS，用于检测网络攻击，不仅可应用于自动驾驶汽车的控制器局域网（CAN）总线，也可推广至一般车联网环境。该IDS采用基于树的机器学习算法，包括决策树（DT）、随机森林（RF）、Extra Trees（ET）和极端梯度提升（XGBoost）。在标准数据集上实施该入侵检测系统的结果表明，该系统能够识别自动驾驶汽车网络中的各类网络攻击。此外，所提出的集成学习和特征选择方法使系统能够在高检测率的同时保持较低的计算开销。

图1：基于树的IDS模型概览。

论文2：MTH-IDS：面向车联网的多层混合入侵检测系统

  现代车辆，包括联网汽车和自动驾驶汽车，通常配备多个电子控制单元，并通过车载网络连接以实现各种功能和操作。同时，现代车辆还通过V2X技术接入外部网络，从而与其他车辆、基础设施和智能设备进行通信。然而，随着车辆功能和连通性的不断增强，其针对车载网络和外部网络的攻击面也在扩大，使其更容易受到网络攻击。为保障车载网络的安全，许多研究人员致力于开发基于机器学习的入侵检测系统（IDS），以识别恶意网络攻击。本文探讨了车载网络和外部网络的脆弱性，并提出了一种多层混合IDS，结合签名检测和异常检测两种机制，以同时检测已知和未知的网络攻击。实验结果表明，该系统能够准确检测代表车载网络数据的CAN-Intrusion数据集以及反映外部车联网数据的CICIDS2017数据集中存在的各类已知攻击。   所提出的MTH-IDS框架由两个传统的机器学习阶段（数据预处理和特征工程）以及四个层次的学习模型组成：

1. 四个基于树的监督学习器——决策树（DT）、随机森林（RF）、Extra Trees（ET）和极端梯度提升（XGBoost）——用作多分类器来检测已知攻击；
2. 一个堆叠集成模型和基于树型帕尔森估计器的贝叶斯优化（BO-TPE）方法，用于优化监督学习器；
3. 一个聚类标签（CL）k-means，用作无监督学习器来检测零日攻击；
4. 两个偏置分类器和基于高斯过程的贝叶斯优化（BO-GP）方法，用于优化无监督学习器。

图2：MTH-IDS模型概览。

论文3：LCCDE——一种基于决策的集成框架，用于车联网入侵检测

  现代车辆，包括自动驾驶汽车和联网汽车，通过与其他车辆、智能设备及基础设施的连接与通信，不断引入越来越多的功能。然而，车联网（IoV）日益增强的连通性也使其更容易受到网络攻击的威胁。为了保护车联网系统免受网络威胁，研究人员利用机器学习（ML）方法开发了能够识别恶意网络攻击的入侵检测系统（IDS）。为准确检测车联网网络中的各类攻击，我们提出了一种名为“领导者分类与置信度决策集成”（LCCDE）的新型集成IDS框架。该框架通过在三种先进的机器学习算法（XGBoost、LightGBM和CatBoost）中，为每类或每种类型的攻击确定表现最佳的模型来构建。随后，利用这些类别领导者模型及其预测置信度值，对各类网络攻击的检测做出准确决策。我们在两个公开的车联网安全数据集（Car-Hacking和CICIDS2017数据集）上进行的实验表明，所提出的LCCDE框架在车载内部网络和外部网络的入侵检测方面均具有显著效果。

图3：LCCDE IDS模型的总体架构。

实现

数据集

CICIDS2017数据集，一个广泛用于入侵检测问题的网络流量数据集

• 公开获取地址：https://www.unb.ca/cic/datasets/ids-2017.html
• 为便于在Jupyter Notebook中展示实验结果，示例代码中使用了CICIDS2017数据集的采样子集，这些子集位于“data”文件夹中。

CAN-intrusion数据集，一个用于车载内部入侵检测的基准网络安全数据集

• 公开获取地址：https://ocslab.hksecurity.net/Datasets/CAN-intrusion-dataset
• 可以使用相同的代码进行处理

代码

• Tree-based_IDS_GlobeCom19.ipynb：论文《基于树结构的车联网智能入侵检测系统》的代码
• MTH_IDS_IoTJ.ipynb：论文《MTH-IDS：一种面向车联网的多层混合入侵检测系统》的代码
• LCCDE_IDS_GlobeCom22.ipynb：论文《LCCDE：一种基于决策的集成框架，用于车联网入侵检测》的代码

机器学习算法

• 决策树（DT）
• 随机森林（RF）
• 极端随机树（ET）
• XGBoost
• LightGBM
• CatBoost
• 堆叠集成
• K均值聚类

超参数优化方法

• 基于高斯过程的贝叶斯优化（BO-GP）
• 基于树结构Parzen估计器的贝叶斯优化（BO-TPE）

如果您对机器学习算法的超参数调优感兴趣，请参阅以下链接中的代码：
https://github.com/LiYangHart/Hyperparameter-Optimization-of-Machine-Learning-Algorithms

环境要求与库

• Python 3.6及以上版本
• scikit-learn
• Xgboost
• lightgbm
• catboost
• FCBF
• scikit-optimize
• hyperopt
• River

联系方式

如您有任何问题或合作意向，欢迎随时与我们联系。我们将竭诚为您提供帮助。

• 邮箱：liyanghart@gmail.com
• GitHub：LiYangHart 和 Western OC2 Lab
• LinkedIn：Li Yang
• Google学术：Li Yang 和 OC2 Lab

引用

如果您在研究中使用了本仓库中的内容，请引用以下两篇文章之一：

L. Yang, A. Moubayed, I. Hamieh 和 A. Shami，“基于树结构的车联网智能入侵检测系统”，2019 IEEE全球通信大会（GLOBECOM），2019年，第1–6页，doi：10.1109/GLOBECOM38437.2019.9013892。

@INPROCEEDINGS{9013892,
  author={Yang, Li and Moubayed, Abdallah and Hamieh, Ismail and Shami, Abdallah},
  booktitle={2019 IEEE全球通信大会（GLOBECOM）}, 
  title={基于树结构的车联网智能入侵检测系统}, 
  year={2019},
  pages={1-6},
  doi={10.1109/GLOBECOM38437.2019.9013892}
  }

L. Yang, A. Moubayed 和 A. Shami，“MTH-IDS：一种面向车联网的多层混合入侵检测系统”，IEEE物联网期刊，第9卷第1期，第616–632页，2022年1月1日，doi：10.1109/JIOT.2021.3084796。

@ARTICLE{9443234,
  author={Yang, Li and Moubayed, Abdallah and Shami, Abdallah},
  journal={IEEE物联网期刊}, 
  title={MTH-IDS：一种多层混合车联网入侵检测系统}, 
  year={2022},
  volume={9},
  number={1},
  pages={616-632},
  doi={10.1109/JIOT.2021.3084796}}

L. Yang, A. Shami、G. Stevens 和 S. DeRusett，“LCCDE：一种基于决策的集成框架，用于车联网入侵检测”，2022 IEEE全球通信大会（GLOBECOM），2022年，第1–6页，doi：10.1109/GLOBECOM48099.2022.10001280。

@INPROCEEDINGS{10001280,
  author={Yang, Li and Shami, Abdallah and Stevens, Gary and de Rusett, Stephen},
  booktitle={GLOBECOM 2022 - 2022 IEEE全球通信大会}, 
  title={LCCDE：一种基于决策的集成框架，用于车联网入侵检测}, 
  year={2022},
  pages={3545-3550},
  doi={10.1109/GLOBECOM48099.2022.10001280}}

Intrusion-Detection-System-Using-Machine-Learning 快速上手指南

本项目提供了一套基于机器学习的入侵检测系统（IDS）开源代码，适用于车联网（IoV）及通用网络异常检测场景。项目实现了多种树模型、无监督学习及集成学习算法，并包含超参数优化方案。

环境准备

系统要求

• 操作系统：Linux, macOS, 或 Windows
• Python 版本：3.6 及以上

前置依赖

本项目依赖以下核心 Python 库：

• scikit-learn: 基础机器学习算法
• xgboost, lightgbm, catboost: 高级树模型
• scikit-optimize, hyperopt: 贝叶斯超参数优化
• FCBF: 特征选择
• River: 在线机器学习

提示：国内开发者建议使用清华或阿里镜像源加速安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/Western-OC2-Lab/Intrusion-Detection-System-Using-Machine-Learning.git
   cd Intrusion-Detection-System-Using-Machine-Learning
   

2. 安装依赖包 推荐使用国内镜像源安装所需库：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若项目中未提供 requirements.txt，请手动执行以下命令安装核心依赖：

   pip install scikit-learn xgboost lightgbm catboost scikit-optimize hyperopt river -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   注：FCBF 模块可能需要单独从 GitHub 安装：

   pip install git+https://github.com/SantiagoEG/FCBF_module.git
   

3. 准备数据集 项目主要使用以下两个数据集，代码中已包含采样子集用于演示：

   • CICIDS2017 (外部网络攻击): 数据位于 data 文件夹（采样版）。完整数据集可从 UNB 官网 下载。
   • CAN-intrusion (车内网络攻击): 可从 OCSLab 获取，处理逻辑与 CICIDS2017 类似。

基本使用

项目提供了三个主要的 Jupyter Notebook 文件，分别对应三篇学术论文的实现。您可以根据需求选择运行。

示例：运行基于树的智能 IDS (Paper 1)

此脚本演示了如何使用决策树、随机森林、XGBoost 等算法进行攻击检测。

1. 启动 Jupyter Notebook：

   jupyter notebook
   

2. 在浏览器中打开并运行以下文件：

   • Tree-based_IDS_GlobeCom19.ipynb

   代码逻辑简述： 该 Notebook 将自动加载 data 文件夹中的采样数据，执行数据预处理、特征工程，并训练多种树模型进行评估。

其他模型入口

• 多层混合 IDS (MTH-IDS): 运行 MTH_IDS_IoTJ.ipynb。包含签名检测与异常检测的多层架构，适用于已知和未知攻击。
• LCCDE 集成框架: 运行 LCCDE_IDS_GlobeCom22.ipynb。基于 XGBoost、LightGBM 和 CatBoost 的领导者类别与置信度决策集成框架。

自定义训练

若要使用完整数据集或调整模型，请在对应的 .ipynb 文件中修改数据加载路径（指向您下载的完整 CSV 文件），并根据需要调整超参数优化部分（已集成 BO-TPE 和 BO-GP 方法）。