ML++

机器学习（Machine Learning）是一个广阔且令人兴奋的学科，吸引了来自许多领域的专家关注。不幸的是，对于 C++ 程序员和爱好者而言，机器学习领域似乎缺乏支持。为了填补这一空白，并使 C++ 在机器学习（ML）领域获得真正的立足点，我们编写了此库。本库的意图是作为底层开发者和机器学习工程师之间的交汇点。

Installation

首先下载 ML++ 库的头文件。你可以通过克隆仓库并提取其中的 MLPP 目录来实现：

git clone https://github.com/novak-99/MLPP

接下来，执行 "buildSO.sh" shell 脚本：

sudo ./buildSO.sh

完成后，将 ML++ 源文件保存在本地目录中，并按以下方式包含它们：

#include "MLPP/Stat/Stat.hpp" // Including the ML++ statistics module. 

int main(){
...
}

最后，在完成项目创建后，使用 g++ 进行编译：

g++ main.cpp /usr/local/lib/MLPP.so --std=c++17

Usage

请注意，ML++ 使用 std::vector<double> 数据类型来模拟向量，使用 std::vector<std::vector<double>> 数据类型来模拟矩阵。

首先包含您选择的相应头文件。

#include "MLPP/LinReg/LinReg.hpp"

接下来，实例化一个类对象。别忘了将输入集和输出集作为参数传递。

LinReg model(inputSet, outputSet);

之后，调用您想要使用的优化器。对于迭代优化器，例如梯度下降（Gradient Descent），需要指定学习率、epoch（训练轮次）数量以及是否利用 UI 面板。

model.gradientDescent(0.001, 1000, 0);

太好了，现在准备测试！要测试单个测试实例，请使用以下函数：

model.modelTest(testSetInstance);

这将返回该示例模型的单一预测值。

要测试整个测试集，请使用以下函数：

model.modelSetTest(testSet);

结果将是模型对整个数据集的预测。

Contents of the Library

1. 回归 (Regression)
   1. 线性回归 (Linear Regression)
   2. 逻辑回归 (Logistic Regression)
   3. Softmax 回归 (Softmax Regression)
   4. 指数回归 (Exponential Regression)
   5. Probit 回归 (Probit Regression)
   6. CLogLog 回归 (CLogLog Regression)
   7. Tanh 回归 (Tanh Regression)
2. 深度动态大小神经网络 (Deep, Dynamically Sized Neural Networks)
   1. 可能的激活函数 (Possible Activation Functions)
      • 线性 (Linear)
      • Sigmoid
      • Softmax
      • Swish
      • Mish
      • SinC
      • Softplus
      • Softsign
      • CLogLog
      • Logit
      • 高斯累积分布函数 (Gaussian CDF)
      • RELU
      • GELU
      • Sign
      • 单位阶跃 (Unit Step)
      • Sinh
      • Cosh
      • Tanh
      • Csch
      • Sech
      • Coth
      • Arsinh
      • Arcosh
      • Artanh
      • Arcsch
      • Arsech
      • Arcoth
   2. 可能的优化算法 (Possible Optimization Algorithms)
      • 批量梯度下降 (Batch Gradient Descent)
      • 小批量梯度下降 (Mini-Batch Gradient Descent)
      • 随机梯度下降 (Stochastic Gradient Descent)
      • 带动量的梯度下降 (Gradient Descent with Momentum)
      • Nesterov 加速梯度 (Nesterov Accelerated Gradient)
      • Adagrad 优化器 (Adagrad Optimizer)
      • Adadelta 优化器 (Adadelta Optimizer)
      • Adam 优化器 (Adam Optimizer)
      • Adamax 优化器 (Adamax Optimizer)
      • Nadam 优化器 (Nadam Optimizer)
      • AMSGrad 优化器 (AMSGrad Optimizer)
      • 二阶牛顿 - 拉夫逊优化器 (2nd Order Newton-Raphson Optimizer)*
      • 正规方程 (Normal Equation)*
      *仅适用于线性回归
   3. 可能的损失函数 (Possible Loss Functions)
      • 均方误差 (MSE)
      • 均方根误差 (RMSE)
      • 平均绝对误差 (MAE)
      • 平均偏差误差 (MBE)
      • 对数损失 (Log Loss)
      • 交叉熵 (Cross Entropy)
      • 铰链损失 (Hinge Loss)
      • Wasserstein 损失 (Wasserstein Loss)
   4. 可能的正则化方法 (Possible Regularization Methods)
      • Lasso
      • Ridge
      • ElasticNet
      • 权重裁剪 (Weight Clipping)
   5. 可能的权重初始化方法 (Possible Weight Initialization Methods)
      • 均匀分布 (Uniform)
      • Xavier 正态分布 (Xavier Normal)
      • Xavier 均匀分布 (Xavier Uniform)
      • He 正态分布 (He Normal)
      • He 均匀分布 (He Uniform)
      • LeCun 正态分布 (LeCun Normal)
      • LeCun 均匀分布 (LeCun Uniform)
   6. 可能的学习率调度器 (Possible Learning Rate Schedulers)
      • 基于时间 (Time Based)
      • 基于轮次 (Epoch Based)
      • 基于步数 (Step Based)
      • 指数衰减 (Exponential)
3. 预构建神经网络 (Prebuilt Neural Networks)
   1. 多层感知机 (Multilayer Perceptron)
   2. 自编码器 (Autoencoder)
   3. Softmax 网络 (Softmax Network)
4. 生成建模 (Generative Modeling)
   1. 表格生成对抗网络 (Tabular Generative Adversarial Networks)
   2. 表格 Wasserstein 生成对抗网络 (Tabular Wasserstein Generative Adversarial Networks)
5. 自然语言处理 (Natural Language Processing)
   1. Word2Vec (连续词袋模型 Continuous Bag of Words, Skip-Gram)
   2. 词干提取 (Stemming)
   3. 词袋模型 (Bag of Words)
   4. TFIDF
   5. 分词 (Tokenization)
   6. 辅助文本处理函数 (Auxiliary Text Processing Functions)
6. 计算机视觉 (Computer Vision)
   1. 卷积操作 (The Convolution Operation)
   2. 最大池化、最小池化、平均池化 (Max, Min, Average Pooling)
   3. 全局最大池化、全局最小池化、全局平均池化 (Global Max, Min, Average Pooling)
   4. 预构建特征检测器 (Prebuilt Feature Detectors)
      • 水平/垂直 Prewitt 滤波器 (Horizontal/Vertical Prewitt Filter)
      • 水平/垂直 Sobel 滤波器 (Horizontal/Vertical Sobel Filter)
      • 水平/垂直 Scharr 滤波器 (Horizontal/Vertical Scharr Filter)
      • 水平/垂直 Roberts 滤波器 (Horizontal/Vertical Roberts Filter)
      • 高斯滤波器 (Gaussian Filter)
      • Harris 角点检测器 (Harris Corner Detector)
7. 主成分分析 (Principal Component Analysis)
8. 朴素贝叶斯分类器 (Naive Bayes Classifiers)
   1. 多项式朴素贝叶斯 (Multinomial Naive Bayes)
   2. 伯努利朴素贝叶斯 (Bernoulli Naive Bayes)
   3. 高斯朴素贝叶斯 (Gaussian Naive Bayes)
9. 支持向量分类 (Support Vector Classification)
   1. 原始形式 (Primal Formulation) (铰链损失目标 Hinge Loss Objective)
   2. 对偶形式 (Dual Formulation) (通过拉格朗日乘子 Via Lagrangian Multipliers)
10. K-Means 聚类
11. k-近邻算法 (k-Nearest Neighbors)
12. 异常值查找器 (Outlier Finder) (使用 Z 分数 Using z-scores)
13. 矩阵分解 (Matrix Decompositions)
    1. SVD 分解 (SVD Decomposition)
    2. Cholesky 分解 (Cholesky Decomposition)
       • 正定性检查器 (Positive Definiteness Checker)
    3. QR 分解 (QR Decomposition)
14. 数值分析 (Numerical Analysis)
    1. 数值微分 (Numerical Differentiation)
       • 单变量函数 (Univariate Functions)
       • 多变量函数 (Multivariate Functions)
    2. 雅可比向量计算器 (Jacobian Vector Calculator)
    3. 海森矩阵计算器 (Hessian Matrix Calculator)
    4. 函数近似器 (Function approximator)
       • 常数近似 (Constant Approximation)
       • 线性近似 (Linear Approximation)
       • 二次近似 (Quadratic Approximation)
       • 三次近似 (Cubic Approximation)
    5. 微分方程求解器 (Differential Equations Solvers)
       • 欧拉法 (Euler's Method)
       • 增长法 (Growth Method)
15. 数学变换 (Mathematical Transforms)
    1. 离散余弦变换 (Discrete Cosine Transform)
16. 线性代数模块 (Linear Algebra Module)
17. 统计模块 (Statistics Module)
18. 数据处理模块 (Data Processing Module)
    1. 设置和打印数据集 (Setting and Printing Datasets)
    2. 可用数据集 (Available Datasets)
       1. 威斯康星乳腺癌数据集 (Wisconsin Breast Cancer Dataset)
          • 二元 (Binary)
          • 支持向量机 (SVM)
       2. MNIST 数据集 (MNIST Dataset)
          • 训练集 (Train)
          • 测试集 (Test)
       3. 鸢尾花数据集 (Iris Flower Dataset)
       4. 葡萄酒数据集 (Wine Dataset)
       5. 加州住房数据集 (California Housing Dataset)
       6. 火灾与犯罪数据集 (芝加哥) (Fires and Crime Dataset (Chicago))
    3. 特征缩放 (Feature Scaling)
    4. 均值归一化 (Mean Normalization)
    5. 独热表示 (One Hot Representation)
    6. 反向独热表示 (Reverse One Hot Representation)
    7. 支持的色彩空间转换 (Supported Color Space Conversions)
       • RGB 转灰度 (RGB to Grayscale)
       • RGB 转 HSV (RGB to HSV)
       • RGB 转 YCbCr (RGB to YCbCr)
       • RGB 转 XYZ (RGB to XYZ)
       • XYZ 转 RGB (XYZ to RGB)
19. 工具 (Utilities)
    1. TP, FP, TN, FN 函数 (TP, FP, TN, FN function)
    2. 精确率 (Precision)
    3. 召回率 (Recall)
    4. 准确率 (Accuracy)
    5. F1 分数 (F1 score)

正在进行的工作

ML++ 像大多数框架一样，是动态的并且不断变化。这在机器学习（Machine Learning, ML）领域尤为重要，因为新的算法和技术每天都在被开发出来。以下是目前 ML++ 正在开发的几个功能：

- 卷积神经网络（Convolutional Neural Networks）

- 支持向量机（SVM）的核函数

- 支持向量回归（Support Vector Regression）

引用来源

在创建 ML++ 的过程中，各种不同资料提供了帮助，我想在此向其中几项致谢。TutorialsPoint 的 此文章 在尝试实现矩阵行列式时提供了很大帮助，而 GeeksForGeeks 的 这篇文章 在尝试计算矩阵伴随矩阵和逆矩阵时也非常有用。

ML++ 快速上手指南

ML++ 是一个专为 C++ 开发者设计的机器学习库，旨在连接底层开发与机器学习工程。它提供了丰富的回归、神经网络、NLP 及计算机视觉模块。

环境准备

• 操作系统：Linux / macOS (基于 Shell 脚本构建)
• 编译器：GCC (g++)，需支持 C++17 标准
• 版本控制：Git
• 权限：部分安装步骤可能需要 sudo 权限

安装步骤

1. 克隆仓库 从 GitHub 获取源代码并提取 MLPP 目录：

   git clone https://github.com/novak-99/MLPP
   

2. 构建共享库 进入目录执行构建脚本（需要管理员权限）：

   sudo ./buildSO.sh
   

3. 编译项目 将 ML++ 源文件保留在本地目录，并在编译时链接生成的库文件：

   g++ main.cpp /usr/local/lib/MLPP.so --std=c++17
   

基本使用

ML++ 使用 std::vector<double> 模拟向量，使用 std::vector<std::vector<double>> 模拟矩阵。以下以线性回归为例：

1. 引入头文件

   #include "MLPP/LinReg/LinReg.hpp"
   

2. 实例化模型 传入输入集和输出集参数：

   LinReg model(inputSet, outputSet);
   

3. 训练模型 调用优化器（如梯度下降），设置学习率、迭代次数及 UI 开关：

   model.gradientDescent(0.001, 1000, 0);
   

4. 测试预测 测试单个样本或整个数据集：

   // 测试单个实例
   model.modelTest(testSetInstance);
   
   // 测试整个数据集
   model.modelSetTest(testSet);