算法速度提升2至2000倍，内存占用减少50%，兼容新旧各类硬件。

如果你想合作开发快速算法，请联系我！！加入我们的Discord服务器，一起让AI更快；或者只是想聊聊AI话题也欢迎！https://discord.gg/unsloth

Unsloth官网

文档

50页现代大数据算法PDF

---

Hyperlearn的算法、方法及代码库已被5篇研究论文引用或提及！

+ 微软、华盛顿大学、加州大学伯克利分校、希腊、英伟达

• 微软：Yu等人，《使经典机器学习流水线可微分》 http://learningsys.org/nips18/assets/papers/45CameraReadySubmissionfinetune.pdf
• 华盛顿大学：Ariel Rokem、Kendrick Kay，《分数岭回归：一种快速且可解释的岭回归重参数化方法》 https://arxiv.org/abs/2005.03220
• 希腊“德谟克利特”国家科学研究中心：Christos Platias、Georgios Petasis，《数据插补中机器学习方法的比较》 https://dl.acm.org/doi/10.1145/3411408.3411465
• 加州大学伯克利分校：David Chan，《GPU加速的t分布随机邻域嵌入》 https://digitalassets.lib.berkeley.edu/techreports/ucb/incoming/EECS-2020-89.pdf (将Hyperlearn的方法整合进英伟达RAPIDS TSNE)
• 英伟达：Raschka等人，《RAPIDS：Python中的机器学习——数据科学、机器学习和人工智能的主要发展与技术趋势》 https://arxiv.org/abs/2002.04803 (将Hyperlearn的方法整合进英伟达RAPIDS TSNE)

---

Hyperlearn的方法和算法已被超过6个组织和开源项目采用！

+ 美国宇航局 + Facebook的PyTorch、Scipy、Cupy、英伟达、新南威尔士大学

• Facebook的PyTorch：SVD非常慢，而GELS会返回NaN和负无穷 #11174 https://github.com/pytorch/pytorch/issues/11174
• Scipy：EIGH非常慢 --> 建议了一个简单的修复方案 #9212 https://github.com/scipy/scipy/issues/9212
• Cupy：建议让SVD覆盖临时数组x https://github.com/cupy/cupy/pull/2277
• 英伟达：用GPU加速TSNE：从数小时到几秒钟 https://medium.com/rapids-ai/tsne-with-gpus-hours-to-seconds-9d9c17c941db
• 新南威尔士大学：Abdussalam等人，《社交媒体图片中大规模SKU级产品检测及其销售表现》 https://www.abstractsonline.com/pp8/#!/9305/presentation/465

---

在Hyperlearn开发过程中，我们向GCC报告了多个bug和问题！

• GCC 10忽略所有x86架构上的函数属性优化，自r11-1019以来一直如此 https://gcc.gnu.org/bugzilla/show_bug.cgi?id=96535
• 向量扩展aligned(1)未生成非对齐加载/存储操作 https://gcc.gnu.org/bugzilla/show_bug.cgi?id=98317
• GCC >= 6无法在SSE目标上内联_mm_cmp_ps https://gcc.gnu.org/bugzilla/show_bug.cgi?id=98387
• GCC 10.2存在AVX512掩码回归问题，该问题源自GCC 9 https://gcc.gnu.org/bugzilla/show_bug.cgi?id=98348

---

HyperLearn完全使用PyTorch、NoGil Numba、NumPy、Pandas、Scipy和LAPACK、C++、C、Python、Cython以及汇编语言编写，并且其功能大多与Scikit Learn保持一致。HyperLearn还内置了统计推断工具，调用方式与Scikit Learn语法相同。

HyperLearn目前的一些主要成果：

• 拟合最小二乘法/线性回归的时间比sklearn缩短70%，内存占用减少50%；
• 非负矩阵分解的速度比sklearn快50%，得益于新的并行化算法；
• 完整欧氏距离/余弦距离算法提速40%；
• LSMR迭代式最小二乘法耗时减少50%；
• 新型重构SVD——利用SVD填补缺失数据！同时具备.fit和.transform功能，效果比均值插补好约30%；
• 稀疏矩阵运算提速50%——通过并行化实现；
• RandomizedSVD现在快20%-30%。

速度/内存对比

算法	n	p	时间(s)		内存(mb)		备注
			Sklearn	Hyperlearn	Sklearn	Hyperlearn
QDA (二次判别分析)	1000000	100	54.2	22.25	2,700	1,200	已实现并行化
LinearRegression	1000000	100	5.81	0.381	700	10	稳定且快速

时间(s)为拟合+预测总耗时。内存(mb)取拟合和预测阶段的最大值。 我还添加了一些N=5000，P=6000的初步结果。

---

我们非常需要帮助！请与我联系！

---

核心方法论与目标

1. 极其容易并行化的循环

2. 速度提升50%以上，内存占用减少50%以上

3. 为什么Statsmodels有时会慢得令人难以忍受？

4. 基于PyTorch的深度学习即插即用模块

5. 代码量减少20%以上，代码更简洁清晰

6. 访问古老而令人兴奋的新算法

---

1. 极其容易并行化的循环

• 包括内存共享、内存管理
• 通过PyTorch和Numba实现CUDA并行计算

2. 速度提升50%以上，内存占用减少50%以上

• 矩阵乘法顺序优化：https://en.wikipedia.org/wiki/Matrix_chain_multiplication
• 元素级矩阵乘法将复杂度从O(n^3)降至O(n^2)：https://en.wikipedia.org/wiki/Hadamard_product_(matrices)
• 将矩阵运算简化为爱因斯坦求和约定：https://en.wikipedia.org/wiki/Einstein_notation
• 一次性连续执行矩阵运算以减少内存开销。
• 如果p>>n，或许分解X.T比分解X更好。
• 在某些情况下，先进行QR分解再做SVD可能更快。
• 利用矩阵结构加快逆矩阵计算速度（如三角矩阵、厄米特矩阵）。
• 先计算SVD(X)，再求pinv(X)，有时比直接求pinv(X)更快。

3. 为什么 Statsmodels 有时会慢到难以忍受？

• 线性模型的置信区间、预测区间、假设检验以及拟合优度检验都经过了优化。
• 尽可能使用爱因斯坦求和约定和哈达玛积。
• 只计算必要的部分（例如矩阵的对角线，而不是整个矩阵）。
• 修复了 Statsmodels 在符号表示、速度、内存问题以及变量存储方面的缺陷。

4. 基于 PyTorch 的深度学习即插即用模块

• 使用 PyTorch 创建类似 Scikit-Learn 的即插即用替代组件。

5. 代码量减少 20% 以上，代码更简洁清晰

• 尽可能使用装饰器和函数。
• 提供直观的中间层函数名，如 (isTensor, isIterable)。
• 通过 hyperlearn.multiprocessing 轻松处理并行计算。

6. 可访问旧算法与令人兴奋的新算法

• 矩阵补全算法——非负最小二乘法、NNMF。
• 批量相似性隐狄利克雷分配模型 (BS-LDA)。
• 相关性回归。
• 可可行广义最小二乘法 FGLS。
• 抗异常值回归。
• 多维样条回归。
• 广义 MICE（任何模型的即插即用替代方案）。
• 使用 Uber 的 Pyro 进行贝叶斯深度学习。

---

---

额外许可条款

1. 采用 Apache 2.0 许可证。

HyperLearn 快速上手指南

HyperLearn 是一个高性能的机器学习库，完全兼容 Scikit-Learn 语法。它通过优化的算法（如并行化、矩阵链乘法优化、爱因斯坦求和约定等），实现了比传统库快 2-2000 倍的速度，并减少 50% 以上的内存占用。支持 CPU 和 GPU 加速，适用于新旧硬件。

环境准备

系统要求

• 操作系统: Linux, macOS, Windows
• 硬件: 支持 CPU (包括旧款) 和 NVIDIA GPU (通过 PyTorch/CUDA)
• Python 版本: 建议 Python 3.8+

前置依赖

HyperLearn 底层依赖以下核心库，安装时会自动处理大部分依赖：

• PyTorch
• Numba (NoGil 模式)
• NumPy, Pandas, SciPy
• LAPACK, C++, Cython

注意：为了获得最佳 GPU 加速效果，请确保已正确安装与你的显卡驱动匹配的 torch (CUDA 版本)。

安装步骤

推荐使用 pip 进行安装。由于该库更新较快，建议直接从源码或 PyPI 安装最新版本。

1. 基础安装

pip install hyperlearn

2. 完整依赖安装（推荐）

如果上述命令未自动安装所有必要的后端依赖（特别是 PyTorch 和 Numba），请手动安装：

# 安装 PyTorch (根据是否使用 CUDA 选择对应命令，以下为 CPU 版本示例)
pip install torch torchvision torchaudio

# 安装其他核心依赖
pip install numba numpy pandas scipy scikit-learn

国内加速提示：如果遇到下载速度慢的问题，可以使用清华或阿里镜像源：

pip install hyperlearn -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install torch numba numpy pandas scipy -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

HyperLearn 的设计目标是“无缝替换”Scikit-Learn。你只需将 import sklearn 替换为 import hyperlearn，即可享受性能提升。

示例：线性回归 (Linear Regression)

以下示例展示了如何使用 HyperLearn 进行线性回归拟合与预测，其 API 与 Scikit-Learn 完全一致。

import numpy as np
from hyperlearn.linear_model import LinearRegression

# 1. 准备数据
# 生成模拟数据: 1,000,000 个样本，100 个特征
n_samples, n_features = 1000000, 100
X = np.random.randn(n_samples, n_features)
y = np.random.randn(n_samples)

# 2. 初始化模型
# 语法与 sklearn.linear_model.LinearRegression 完全相同
model = LinearRegression()

# 3. 训练模型 (Fit)
# HyperLearn 在此步骤通常比 sklearn 快 70% 以上，且内存占用更低
model.fit(X, y)

# 4. 预测 (Predict)
predictions = model.predict(X)

# 5. 查看结果
print(f"系数形状：{model.coef_.shape}")
print(f"截距：{model.intercept_}")
print("前 5 个预测值:", predictions[:5])

示例：奇异值分解 (SVD) 用于数据填补

HyperLearn 提供了重构型 SVD (ReconstructionSVD)，可用于缺失值填补，效果优于均值填补。

from hyperlearn.decomposition import ReconstructionSVD
import numpy as np

# 构造含缺失值的数据 (用 NaN 表示)
X = np.random.randn(1000, 50)
X[0:100, 0:10] = np.nan  # 模拟缺失数据

# 初始化并运行
svd_imputer = ReconstructionSVD(n_components=10)
X_filled = svd_imputer.fit_transform(X)

print("数据填补完成，原始缺失值位置已修复。")

核心优势速览

• 速度: 线性回归拟合速度快约 15 倍 (针对大数据集)。
• 内存: 内存占用减少约 50% (例如线性回归从 700MB 降至 10MB)。
• 兼容性: 直接复用现有的 Scikit-Learn 代码管道。
• 统计推断: 内置置信区间、假设检验等统计功能，解决了 Statsmodels 速度慢的问题。