numpy-ml

你是否曾希望拥有一套虽然效率不高，但代码相对易读的机器学习算法集合，且这些算法完全用 NumPy 实现？没有吗？

安装

用于快速实验

若想将此代码作为机器学习原型设计或实验的起点，只需克隆仓库、创建一个新的 virtualenv，然后开始开发：

$ git clone https://github.com/ddbourgin/numpy-ml.git
$ cd numpy-ml && virtualenv npml && source npml/bin/activate
$ pip3 install -r requirements-dev.txt

作为包安装

如果你不打算修改源码，也可以将 numpy-ml 作为一个 Python 包安装：pip3 install -u numpy_ml。

强化学习智能体在 OpenAI Gym 中定义的环境中进行训练。若要与 numpy-ml 一起安装这些环境，可以使用 pip3 install -u 'numpy_ml[rl]'。

文档

有关可用模型的更多详细信息，请参阅 项目文档。

可用模型

点击展开！

1. 高斯混合模型

   • EM 训练

2. 隐马尔可夫模型

   • 维特比解码
   • 似然计算
   • 使用 Baum-Welch/前向后向算法进行最大似然参数估计

3. 潜在狄利克雷分配（主题模型）

   • 标准模型，使用变分 EM 进行最大似然参数估计
   • 平滑模型，使用 MCMC 进行最大后验参数估计

4. 神经网络

   • 层 / 层级操作
     • 加法
     • 展平
     • 乘法
     • Softmax
     • 全连接层
     • 稀疏进化连接
     • LSTM
     • Elman 风格的 RNN
     • 最大池化 + 平均池化
     • 点积注意力机制
     • 嵌入层
     • 受限玻尔兹曼机（使用 CD-n 训练）
     • 二维反卷积（带填充和步幅）
     • 二维卷积（带填充、膨胀和步幅）
     • 一维卷积（带填充、膨胀、步幅和因果性）
   • 模块
     • 双向 LSTM
     • ResNet 风格的残差块（恒等映射和卷积）
     • WaveNet 风格的残差块，带有扩张的因果卷积
     • Transformer 风格的多头缩放点积注意力机制
   • 正则化器
     • Dropout
   • 归一化
     • 批量归一化（空间和时间）
     • 层归一化（空间和时间）
   • 优化器
     • 带动量的 SGD
     • AdaGrad
     • RMSProp
     • Adam
   • 学习率调度器
     • 常数
     • 指数衰减
     • Noam/Transformer 调度器
     • Dlib 调度器
   • 权重初始化器
     • Glorot/Xavier 均匀和正态分布
     • He/Kaiming 均匀和正态分布
     • 标准和截断正态分布
   • 损失函数
     • 交叉熵
     • 均方误差
     • 伯努利 VAE 损失
     • 带梯度惩罚的 Wasserstein 损失
     • 噪声对比估计损失
   • 激活函数
     • ReLU
     • Tanh
     • Affine
     • Sigmoid
     • Leaky ReLU
     • ELU
     • SELU
     • GELU
     • Exponential
     • Hard Sigmoid
     • Softplus
   • 模型
     • 伯努利变分自编码器
     • 带梯度惩罚的 Wasserstein GAN
     • word2vec 编码器，支持 skip-gram 和 CBOW 架构
   • 工具
     • col2im（MATLAB 移植版）
     • im2col（MATLAB 移植版）
     • conv1D
     • conv2D
     • deconv2D
     • minibatch

5. 基于树的模型

   • 决策树（CART）
   • [Bagging] 随机森林
   • [Boosting] 梯度提升决策树

6. 线性模型

   • 岭回归
   • 逻辑回归
   • 最小二乘法
   • 加权线性回归
   • 广义线性模型（log、logit 和 identity link）
   • 高斯朴素贝叶斯分类器
   • 使用共轭先验的贝叶斯线性回归
     • 均值未知、方差已知（高斯先验）
     • 均值和方差均未知（Normal-Gamma / Normal-Inverse-Wishart 先验）

7. n-gram 序列模型

   • 最大似然得分
   • 加法 / Lidstone 平滑
   • Simple Good-Turing 平滑

8. 多臂老虎机模型

   • UCB1
   • LinUCB
   • Epsilon-greedy
   • 使用共轭先验的汤普森采样
     • Beta-Bernoulli 采样器
   • LinUCB

9. 强化学习模型

   • 交叉熵方法智能体
   • 第一次访问的策略 Monte Carlo 智能体
   • 加权增量重要性采样的 Monte Carlo 智能体
   • 预期 SARSA 智能体
   • TD-0 Q-learning 智能体
   • Dyna-Q / Dyna-Q+，结合优先扫荡算法

10. 非参数模型

    • Nadaraya-Watson 核回归
    • k-近邻分类与回归
    • 高斯过程回归

11. 矩阵分解

    • 正则化交替最小二乘法
    • 非负矩阵分解

12. 预处理

    • 离散傅里叶变换（一维信号）
    • 离散余弦变换（II 型）（一维信号）
    • 双线性插值（二维信号）
    • 最近邻插值（一维和二维信号）
    • 自相关（一维信号）
    • 信号加窗
    • 文本分词
    • 特征哈希
    • 特征标准化
    • one-hot 编码 / 解码
    • Huffman 编码 / 解码
    • 字节对编码 / 解码
    • 词频-逆文档频率（TF-IDF）编码
    • MFCC 编码

13. 工具

    • 相似核
    • 距离度量
    • 优先队列
    • Ball 树
    • 离散采样器
    • 图处理与生成器

贡献

我是否遗漏了你最喜欢的模型？有没有哪些地方可以做得更清晰或更不容易混淆？是不是我哪里写错了？提交一个 PR 吧！唯一的要求是你的模型必须仅使用 Python 标准库 和 NumPy 编写。在特殊情况下，也可以使用 SciPy 库 ;)

完整的贡献指南请参见 这里。

numpy-ml 快速上手指南

numpy-ml 是一个完全使用 NumPy（及 Python 标准库）实现的机器学习算法集合。它的核心目标不是追求极致的运行效率，而是提供清晰、可读性强的代码实现，非常适合用于学习算法原理、教学演示或快速原型验证。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows
• Python 版本：推荐 Python 3.6+
• 核心依赖：
  • NumPy
  • virtualenv (推荐用于隔离环境)
• 可选依赖：
  • 若需使用强化学习示例，需安装 gym (OpenAI Gym)。

国内加速建议：在安装依赖时，建议使用清华或阿里镜像源以提升下载速度。 例如：pip3 install -r requirements-dev.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

您可以根据需求选择以下两种安装方式之一：

方式一：源码克隆（推荐用于学习与实验）

如果您打算阅读源码、修改算法或进行原型开发，建议直接克隆仓库并使用虚拟环境。

# 1. 克隆仓库
git clone https://github.com/ddbourgin/numpy-ml.git

# 2. 进入目录并创建虚拟环境
cd numpy-ml
virtualenv npml

# 3. 激活虚拟环境
# Linux/macOS:
source npml/bin/activate
# Windows:
npml\Scripts\activate

# 4. 安装开发依赖 (建议使用国内镜像加速)
pip3 install -r requirements-dev.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：作为 Python 包安装

如果您仅需调用库功能而不需要修改源码，可直接通过 pip 安装。

# 安装基础版
pip3 install numpy_ml -i https://pypi.tuna.tsinghua.edu.cn/simple

# 安装包含强化学习环境的版本 (需预先安装 gym)
pip3 install 'numpy_ml[rl]' -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

numpy-ml 的模块结构清晰，通常位于 numpy_ml.<category>.<model> 路径下。以下以线性回归和神经网络为例展示最简单的用法。

示例 1：普通最小二乘法 (Ordinary Least Squares)

import numpy as np
from numpy_ml.linear_models import OLS

# 1. 准备数据
# X: 特征矩阵 (N samples, D features), y: 目标向量
X = np.random.randn(100, 5)
true_weights = np.array([1.5, -2.0, 0.5, 0.0, 3.0])
y = X @ true_weights + np.random.normal(0, 0.1, size=100)

# 2. 初始化并训练模型
model = OLS()
model.fit(X, y)

# 3. 预测与评估
y_pred = model.predict(X)
print("Estimated weights:", model.theta)
print("MSE:", np.mean((y - y_pred) ** 2))

示例 2：构建简单的前馈神经网络

from numpy_ml.neural_nets.modules import FullyConnected, ReLU
from numpy_ml.neural_nets.optimizers import Adam
from numpy_ml.neural_nets.losses import CrossEntropyLoss
from numpy_ml.neural_nets import NeuralNet

# 定义网络层结构
layers = [
    FullyConnected(n_in=784, n_out=128),
    ReLU(),
    FullyConnected(n_in=128, n_out=10),
]

# 初始化模型
model = NeuralNet(
    layers=layers,
    optimizer=Adam(lr=0.001),
    loss_func=CrossEntropyLoss()
)

# 假设已有预处理好的数据 X_train (N, 784) 和 y_train (N,)
# model.fit(X_train, y_train, n_epochs=10) 
# 注意：实际使用时需传入具体的 numpy 数组数据

可用模型概览

该库涵盖了广泛的算法，主要包括：

• 经典模型：高斯混合模型 (GMM)、隐马尔可夫模型 (HMM)、LDA 主题模型。
• 深度学习：CNN (1D/2D), RNN (LSTM/GRU), Transformer 组件，VAE, GAN。
• 树模型：决策树 (CART), 随机森林，梯度提升树 (GBDT)。
• 其他：KNN, 高斯过程，多臂老虎机，强化学习代理等。

详细文档请参阅：https://numpy-ml.readthedocs.io/