cuML - GPU 机器学习算法

cuML 是一套库，实现了与 RAPIDS 其他项目具有兼容 API 的机器学习算法和数学基础函数。

cuML 使数据科学家、研究人员和软件工程师能够在不深入 CUDA 编程细节的情况下，在 GPU 上运行传统的表格型机器学习任务。在大多数情况下，cuML 的 Python API 与 scikit-learn 的 API 完全一致。

对于大型数据集，这些基于 GPU 的实现速度可以比其 CPU 对应版本快 10 到 50 倍。有关性能的详细信息，请参阅 cuML 基准测试笔记本。

例如，以下 Python 代码片段使用 cuDF 在 GPU 上加载输入并计算 DBSCAN 聚类：

import cudf
from cuml.cluster import DBSCAN

# 创建并填充一个 GPU DataFrame
gdf_float = cudf.DataFrame()
gdf_float['0'] = [1.0, 2.0, 5.0]
gdf_float['1'] = [4.0, 2.0, 1.0]
gdf_float['2'] = [4.0, 2.0, 1.0]

# 设置并拟合聚类模型
dbscan_float = DBSCAN(eps=1.0, min_samples=1)
dbscan_float.fit(gdf_float)

print(dbscan_float.labels_)

输出：

0    0
1    1
2    2
dtype: int32

cuML 还支持多 GPU 和多节点多 GPU 操作，通过 Dask 实现，并且这一功能正在逐步扩展到更多算法中。以下 Python 代码片段从 CSV 文件读取输入，并在 Dask 工作节点集群上执行最近邻查询，同时利用单个节点上的多个 GPU：

首先初始化一个配置了 UCXX 的 LocalCUDACluster，以实现 CUDA 数组的高速传输：

# 初始化 UCX 以实现 CUDA 数组的高速传输
from dask_cuda import LocalCUDACluster

# 创建一个单节点 Dask CUDA 集群，每个设备对应一个工作进程
cluster = LocalCUDACluster(protocol="ucx",
                           enable_tcp_over_ucx=True,
                           enable_nvlink=True,
                           enable_infiniband=False)

然后加载数据并执行 k 最近邻搜索。cuml.dask 中的估计器也支持 Dask.Array 作为输入：

from dask.distributed import Client
client = Client(cluster)

# 并行地在各个工作节点上读取 CSV 文件
import dask_cudf
df = dask_cudf.read_csv("/path/to/csv")

# 拟合最近邻模型并进行查询
from cuml.dask.neighbors import NearestNeighbors
nn = NearestNeighbors(n_neighbors = 10, client=client)
nn.fit(df)
neighbors = nn.kneighbors(df)

如需更多示例，请浏览我们的完整 API 文档 或查看我们的示例 教程笔记本。此外，您还可以在 notebooks-contrib 仓库 中找到完整的端到端示例。

支持的算法

类别	算法	备注
聚类	基于密度的带有噪声的应用空间聚类 (DBSCAN)	通过 Dask 实现多节点多 GPU
	层次化的基于密度的带有噪声的应用空间聚类 (HDBSCAN)
	K 均值聚类	通过 Dask 实现多节点多 GPU
	单链接凝聚聚类
	谱聚类
降维	主成分分析 (PCA)	通过 Dask 实现多节点多 GPU
	增量 PCA
	截断奇异值分解 (tSVD)	通过 Dask 实现多节点多 GPU
	统一流形近似与投影 (UMAP)	通过 Dask 实现多节点多 GPU 推理
	随机投影
	t 分布随机邻域嵌入 (TSNE)
	谱嵌入
用于回归或分类的线性模型	最小二乘法线性回归 (OLS)	通过 Dask 实现多节点多 GPU
	带有 Lasso 或 Ridge 正则化的线性回归	通过 Dask 实现多节点多 GPU
	弹性网络回归
	LARS 回归	（实验性）
	逻辑回归	通过 Dask-GLM 实现多节点多 GPU 演示
	朴素贝叶斯	通过 Dask 实现多节点多 GPU
	随机梯度下降 (SGD)、坐标下降 (CD) 和拟牛顿法 (QN)（包括 L-BFGS 和 OWL-QN）求解线性模型
用于回归或分类的非线性模型	随机森林 (RF) 分类	实验性：通过 Dask 实现多节点多 GPU
	随机森林 (RF) 回归	实验性：通过 Dask 实现多节点多 GPU
	基于决策树模型的推理	决策树推理库 (FIL)
	K 最近邻 (KNN) 分类	通过 Dask+UCXX 实现多节点多 GPU，使用 Faiss 进行最近邻查询。
	K 最近邻 (KNN) 回归	通过 Dask+UCXX 实现多节点多 GPU，使用 Faiss 进行最近邻查询。
	支持向量机分类器 (SVC)
	Epsilon 支持向量回归 (SVR)
预处理	标准化，即均值移除和方差缩放 / 归一化 / 编码分类特征 / 离散化 / 缺失值插补 / 多项式特征生成 / 以及即将推出的自定义转换器和非线性变换	基于 Scikit-Learn 的预处理
时间序列	Holt-Winters 指数平滑
	自回归积分滑动平均 (ARIMA)	支持季节性（SARIMA）
模型解释	SHAP 核解释器	基于 SHAP
	SHAP 置换解释器	基于 SHAP
执行设备互操作性		可以在主机/CPU 或设备/GPU 上交替运行估计器，只需少量代码更改 演示
其他	K 最近邻 (KNN) 搜索	通过 Dask+UCXX 实现多节点多 GPU，使用 Faiss 进行最近邻查询。

---

安装

请参阅 RAPIDS 发行版选择器，以获取通过 conda、pip 或 Docker 安装 nightly 版或官方 cuML 包的命令行。

从源代码构建/安装

请参阅构建 指南。

与 scikit-learn 的兼容性

cuML 与 scikit-learn 1.4 或更高版本兼容。

模型序列化与安全性

cuML 模型可以使用 pickle 或 joblib 进行序列化，并在后续加载以进行推理。cuML 使用 cloudpickle，因此使用 cuml.accel 训练的模型可以加载并在 scikit-learn 中使用。

请仅从受信任的来源反序列化或加载模型。 pickle 模块（以及由此扩展的 joblib）并不安全：恶意载荷在反序列化过程中可能执行任意代码，从而危及您的系统。请勿从不受信任或已被篡改的来源反序列化或加载数据。 这适用于 pickle.load() / pickle.loads()、joblib.load() 以及任何基于文件的模型加载操作。有关详细信息和最佳实践模式，请参阅 模型序列化与持久化 笔记本，以及 Python pickle 安全性文档。

贡献

请参阅我们的 cuML 贡献指南。

参考文献

RAPIDS 团队发布了许多深入的技术解析和示例博客。您可以在 Medium 上找到它们。

如需了解更多关于 cuML 背后技术的细节，以及对 Python 机器学习领域的更广泛概述，请参阅 Sebastian Raschka、Joshua Patterson 和 Corey Nolet 于 2020 年撰写的 Python 中的机器学习：数据科学、机器学习和人工智能领域的主要发展与技术趋势 (2020) [arXiv:2002.04803]。

在项目中使用 cuML 时，请考虑引用该文献。您可以使用以下 BibTeX 格式的引用：

@article{raschka2020machine,
  title={Machine Learning in Python: Main developments and technology trends in data science, machine learning, and artificial intelligence},
  author={Raschka, Sebastian and Patterson, Joshua and Nolet, Corey},
  journal={arXiv preprint arXiv:2002.04803},
  year={2020}
}

联系方式

更多详情请访问 RAPIDS 官网。

开放式 GPU 数据科学

RAPIDS 是一套开源软件库，旨在支持完全在 GPU 上运行端到端的数据科学和分析流水线。它依赖 NVIDIA® CUDA® 原语实现底层计算优化，同时通过用户友好的 Python 接口暴露 GPU 的并行计算能力和高带宽内存速度。

cuML 快速上手指南

cuML 是 RAPIDS 套件的一部分，提供了一套与 scikit-learn API 兼容的 GPU 加速机器学习算法库。它允许数据科学家在无需深入了解 CUDA 编程细节的情况下，利用 GPU 将传统表格型机器学习任务的速度提升 10-50 倍。

环境准备

在使用 cuML 之前，请确保您的系统满足以下要求：

• 操作系统：Linux (x86_64) 或 WSL2 (Windows Subsystem for Linux)。
• GPU 硬件：NVIDIA GPU (Compute Capability 7.0 或更高，如 Volta, Turing, Ampere, Hopper 架构)。
• 驱动程序：已安装最新的 NVIDIA 驱动。
• CUDA Toolkit：需安装与 RAPIDS 版本匹配的 CUDA Toolkit（通常通过 conda 安装时会自动处理依赖）。
• Python 版本：推荐 Python 3.9 - 3.11。
• 前置依赖：建议先安装 conda (Miniconda 或 Anaconda) 以管理环境。

注意：cuML 强依赖于 cudf (GPU DataFrame 库)，通常作为 RAPIDS 套件整体安装。

安装步骤

推荐使用 conda 进行安装，这是最稳定且依赖冲突最少的方式。

1. 创建并激活虚拟环境

conda create -n rapids-env -c conda-forge -n rapids-env python=3.10
conda activate rapids-env

2. 安装 cuML (及 RAPIDS 核心组件)

访问 RAPIDS Release Selector 获取针对您系统配置的最新命令。以下是通用安装示例（基于 conda-forge 和 nvidia 频道）：

conda install -c conda-forge -c nvidia rapids=24.04 python=3.10 cuda-version=12.4

注：请将 rapids=24.04 和 cuda-version=12.4 替换为您需要的具体版本。

国内加速方案

如果下载速度较慢，可以尝试使用清华源或中科大源镜像（需确认镜像站是否同步了 nvidia 和 rapids 频道，若未同步仍需回退到官方源）：

# 配置清华源 (示例)
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
# 然后执行上述安装命令

若国内镜像缺少特定的 RAPIDS 包，请直接使用官方渠道安装。

验证安装

运行以下 Python 代码检查是否能成功导入并识别 GPU：

import cuml
print(cuml.__version__)

基本使用

cuML 的 API 设计与 scikit-learn 高度一致。以下示例演示如何使用 cuDF 创建 GPU DataFrame，并利用 cuML 进行 DBSCAN 聚类。

单 GPU 示例：DBSCAN 聚类

import cudf
from cuml.cluster import DBSCAN

# 1. 创建并填充 GPU DataFrame
gdf_float = cudf.DataFrame()
gdf_float['0'] = [1.0, 2.0, 5.0]
gdf_float['1'] = [4.0, 2.0, 1.0]
gdf_float['2'] = [4.0, 2.0, 1.0]

# 2. 初始化模型并拟合
# eps: 邻域半径，min_samples: 形成稠密区域所需的最小样本数
dbscan_float = DBSCAN(eps=1.0, min_samples=1)
dbscan_float.fit(gdf_float)

# 3. 输出聚类标签
print(dbscan_float.labels_)

输出结果：

0    0
1    1
2    2
dtype: int32

多 GPU 示例：分布式 K-近邻搜索 (可选)

如果您拥有多张 GPU 并希望利用 Dask 进行分布式计算，可以使用 cuml.dask 模块：

from dask_cuda import LocalCUDACluster
from dask.distributed import Client
import dask_cudf
from cuml.dask.neighbors import NearestNeighbors

# 1. 初始化本地 CUDA 集群 (启用 UCX 以获得高速传输)
cluster = LocalCUDACluster(protocol="ucx",
                           enable_tcp_over_ucx=True,
                           enable_nvlink=True,
                           enable_infiniband=False)
client = Client(cluster)

# 2. 并行读取数据 (假设有一个大型 CSV)
# df = dask_cudf.read_csv("/path/to/large_dataset.csv") 
# 此处为了演示，复用上面的逻辑构建一个简单的 Dask DataFrame
import cudf
local_df = cudf.DataFrame({'0': [1.0, 2.0, 5.0], '1': [4.0, 2.0, 1.0]})
df = dask_cudf.from_cudf(local_df, npartitions=2)

# 3. 拟合模型并查询
nn = NearestNeighbors(n_neighbors=2, client=client)
nn.fit(df)
neighbors = nn.kneighbors(df)

print(neighbors)

兼容性提示

• Scikit-learn 兼容：cuML 兼容 scikit-learn 1.4+ 版本，大多数 estimator 可以直接替换 sklearn 中的对应类。
• 模型保存：支持使用 pickle 或 joblib 序列化模型，但请务必仅加载来自可信来源的模型文件，以防恶意代码执行。