NapkinML

关于

袖珍版的机器学习模型实现，其中大多数都可以用一条推文来表示。

目录

• NapkinML
  • 关于
  • 目录
  • 安装
  • 实现
    • K均值聚类
    • K近邻算法
    • 线性回归
    • 线性判别分析
    • 逻辑回归
    • 多层感知机
    • 主成分分析

安装

$ git clone https://github.com/eriklindernoren/NapkinML
$ cd NapkinML
$ sudo python setup.py install

实现

K均值聚类

class KMeans:
    def fit(self, X, k, n_iter=200):
        centers = random.sample(list(X), k)
        for i in range(n_iter):
            clusters = np.argmin(cdist(X, centers), axis=1)
            centers = np.array([X[clusters == c].mean(0) for c in clusters])
        return clusters

$ python napkin_ml/examples/kmeans.py

图：鸢尾花数据集的K均值聚类。

K近邻算法

class KNN:
    def predict(self, k, Xt, X, y):
        idx = np.argsort(cdist(Xt, X))[:, :k]
        y_pred = [np.bincount(y[i]).argmax() for i in idx]
        return y_pred

$ python napkin_ml/examples/knn.py

图：使用K近邻算法对鸢尾花数据集进行分类。

线性回归

class LinearRegression:
    def fit(self, X, y):
        self.w = np.linalg.lstsq(X, y, rcond=None)[0]
    def predict(self, X):
        return X.dot(self.w)

$ python napkin_ml/examples/linear_regression.py

图：线性回归。

线性判别分析

class LDA:
    def fit(self, X, y):
        cov_sum = sum([np.cov(X[y == val], rowvar=False) for val in [0, 1]])
        mean_diff = X[y == 0].mean(0) - X[y == 1].mean(0)
        self.w = np.linalg.inv(cov_sum).dot(mean_diff)
    def predict(self, X):
        return 1 * (X.dot(self.w) < 0)

逻辑回归

class LogisticRegression:
    def fit(self, X, y, n_iter=4000, lr=0.01):
        self.w = np.random.rand(X.shape[1])
        for _ in range(n_iter):
            self.w -= lr * (self.predict(X) - y).dot(X)
    def predict(self, X):
        return sigmoid(X.dot(self.w))

$ python napkin_ml/examples/logistic_regression.py

图：使用逻辑回归进行分类。

多层感知机

class MLP:
    def fit(self, X, y, n_epochs=4000, lr=0.01, n_units=10):
        self.w = np.random.rand(X.shape[1], n_units)
        self.v = np.random.rand(n_units, y.shape[1])
        for _ in range(n_epochs):
            h_out = sigmoid(X.dot(self.w))
            out = softmax(h_out.dot(self.v))
            self.v -= lr * h_out.T.dot(out - y)
            self.w -= lr * X.T.dot((out - y).dot(self.v.T) * (h_out * (1 - h_out)))
    def predict(self, X):
        return softmax(sigmoid(X.dot(self.w)).dot(self.v))

$ python napkin_ml/examples/mlp.py

图：使用具有一个隐藏层的多层感知机对鸢尾花数据集进行分类。

主成分分析

class PCA:
    def transform(self, X, dim):
        _, S, V = np.linalg.svd(X - X.mean(0), full_matrices=True)
        idx = S.argsort()[::-1][:dim]
        return X.dot(V[idx].T)

$ python napkin_ml/examples/pca.py

图：使用主成分分析进行降维。

NapkinML 快速上手指南

NapkinML 是一个轻量级的机器学习库，旨在用极少的代码（通常可容纳在一条推文内）实现经典的机器学习算法。它非常适合用于教学、快速原型验证或理解算法核心原理。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux、macOS 或 Windows
• Python 版本：推荐 Python 3.x
• 前置依赖：
  • numpy (数值计算)
  • scipy (部分距离计算依赖，如 cdist)
  • matplotlib (用于运行示例脚本查看可视化结果)

提示：如果尚未安装基础科学计算包，建议使用国内镜像源加速安装：

pip install numpy scipy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

通过 Git 克隆项目仓库并执行安装脚本：

$ git clone https://github.com/eriklindernoren/NapkinML
$ cd NapkinML
$ sudo python setup.py install

注意：如果您没有系统管理员权限，或者希望在虚拟环境中使用，可以省略 sudo 并使用 pip install . 代替最后一行命令：

$ pip install .

基本使用

NapkinML 的设计哲学是“极简”。每个算法都封装在一个类中，通常只需调用 fit 进行训练和 predict 进行预测。

以下以 K-Means 聚类 为例，展示最基础的使用流程：

1. 代码示例

from napkin_ml import KMeans
import numpy as np

# 假设 X 是你的数据集 (n_samples, n_features)
# 这里生成一些随机数据作为演示
X = np.random.rand(100, 2)

# 初始化模型
kmeans = KMeans()

# 训练模型：传入数据 X，聚类数量 k=3，迭代次数 n_iter=200
clusters = kmeans.fit(X, k=3, n_iter=200)

# clusters 即为每个样本所属的簇标签
print(clusters)

2. 运行官方示例

项目内置了丰富的示例脚本，可直接运行以观察算法在真实数据集（如 Iris 鸢尾花数据集）上的效果及可视化输出。

运行 K-Means 示例：

$ python napkin_ml/examples/kmeans.py

运行其他算法示例（如逻辑回归）：

$ python napkin_ml/examples/logistic_regression.py

支持的核心算法

安装完成后，您可以直接导入并使用以下算法类：

• KMeans: K-均值聚类
• KNN: K-近邻分类/回归
• LinearRegression: 线性回归
• LDA: 线性判别分析
• LogisticRegression: 逻辑回归
• MLP: 多层感知机（神经网络）
• PCA: 主成分分析（降维）