oneAPI 数据分析库

安装   |   文档   |   支持   |   示例   |   如何贡献   

oneAPI 数据分析库（oneDAL）是一个 C++ 和 DPC++ 库（为 Python 中的 Scikit-learn 扩展 提供支持），它实现了针对表格数据的加速机器学习算法（例如线性回归、K 均值聚类、随机森林等），适用于 CPU、GPU 以及多节点分布式环境。

在 CPU 上的加速是通过利用 SIMD 指令和现代硬件的缓存结构来实现的，而 GPU 加速则依赖于 SYCL 框架和 oneMKL 库。

OneDAL 是 UXL 基金会 的一部分，也是 oneAPI 规范 在 oneDAL 组件中的具体实现。

使用方法

您可以通过多种方式构建利用 oneDAL 优势的高性能数据科学应用程序：

• 使用 Scikit-learn* 扩展 来加速现有的 scikit-learn 代码，使其在后台调用 oneDAL。
• 使用 oneDAL 的 C++ 接口，无论是否支持 SYCL（了解更多）。

安装

在安装之前，请查看 系统要求，以确保与您的系统兼容。

有几种可用的 oneDAL 安装选项：

• 二进制分发：预编译的二进制包可从以下来源获取：

  • Intel® oneAPI：

    • 可作为独立的 oneAPI 数据分析库 下载

  • Conda：

    渠道	版本
    conda-forge

  • NuGet

• 源码分发：克隆此 GitHub 仓库，或从 GitHub 发布页面 下载特定版本的 oneDAL，并按照 INSTALL.md 文件中的说明进行操作。

示例

C++ 示例：

• 支持 SYCL 的 oneAPI 接口
• 不支持 SYCL 的 oneAPI 接口
• DAAL 接口

Python 示例：

• scikit-learn-intelex

其他示例

• MPI

文档

oneDAL 文档：

• 发布说明
• 入门指南
• 开发者指南和参考手册

其他相关文档：

• Scikit-learn* 扩展文档
• oneDAL 规范

Apache Spark MLlib

oneDAL 库被用于 Spark MLlib 的加速，作为 OAP MLlib 项目的一部分，与默认的 Apache Spark MLlib 相比，性能可提升 3 至 18 倍。

技术细节：FPType：double；硬件：7 台 m5.2xlarge AWS 实例；软件：Intel DAAL 2020 Gold、Apache Spark 2.4.4、emr-5.27.0；Spark 配置：执行器数量 12、每个执行器核心数 8、每个执行器内存 19GB、任务 CPU 数 8

扩展性

oneDAL 支持分布式计算模式，在强扩展性和弱扩展性方面均表现出色：

oneDAL K-Means 拟合，强扩展性结果	oneDAL K-Means 拟合，弱扩展性结果

技术细节：FPType：float32；硬件：Intel Xeon 处理器 E5-2698 v3 @2.3GHz，双插槽，每插槽 16 核；软件：Intel® DAAL (2019.3)、MPI4Py (3.0.0)、Intel® Distribution Of Python (IDP) 3.6.8；详情请参阅论文 https://arxiv.org/abs/1909.11822

治理

oneDAL 项目由 UXL 基金会管理，您可以通过多种方式参与其中。您可以加入 AI 特别兴趣小组 (SIG) 的会议，在这些会议上，小组成员会讨论并演示使用该项目的工作成果。成员也可以参加开源与规范工作组的会议。

此外，您还可以加入 UXL 基金会 的邮件列表，以便及时了解会议安排，并获取最新资讯和讨论内容。

您既可以为本项目做出贡献，也可以参与该项目的规范制定。更多信息请参阅 CONTRIBUTING 页面。

支持

您可以通过以下渠道向 oneDAL 开发者、贡献者及其他用户提问并参与讨论：

• GitHub Discussions
• 社区论坛

如需私下联系项目维护人员，请发送邮件至 onedal.maintainers@intel.com。

安全

如需报告漏洞，请参考 英特尔漏洞报告政策。

贡献

我们欢迎社区贡献。请查阅我们的 贡献指南，了解更多详情。您也可以通过 UXL 基金会 Slack 的 #onedal 频道联系 oneDAL 团队。

许可证

oneDAL 根据 Apache License 2.0 许可证进行分发。更多信息请参阅 LICENSE 文件。

oneDAL 快速上手指南

oneAPI Data Analytics Library (oneDAL) 是一个高性能的 C++ 和 DPC++ 库，专为表格数据加速机器学习算法（如线性回归、K-means 聚类、随机森林等）。它支持 CPU（利用 SIMD 指令）、GPU（基于 SYCL）以及多节点分布式环境。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (Ubuntu, CentOS, RHEL 等), Windows, macOS。
• 编译器：
  • 推荐：Intel® oneAPI DPC++/C++ Compiler (用于完整功能及 GPU 加速)。
  • 兼容：GCC, Clang, MSVC (仅用于 CPU 基础功能)。
• 依赖项：
  • 若需 GPU 加速，需安装支持 SYCL 的后端（如 Intel GPU Driver 和 oneAPI Level Zero）。
  • 若需分布式计算，需安装 MPI (如 Intel MPI, OpenMPI)。
• Python 用户：若希望通过 Python 使用，建议安装 scikit-learn，oneDAL 可通过 scikit-learn-intelex 对其进行透明加速。

注意：详细系统要求请参考 官方文档。

2. 安装步骤

您可以根据开发需求选择以下任一方式安装：

方式 A：通过 Conda 安装（推荐 Python/C++ 开发者）

这是最便捷的方式，适用于大多数 Linux 和 Windows 环境。

conda install -c conda-forge dal-devel

方式 B：通过 Intel oneAPI 工具包安装（适合需要完整生态的用户）

访问 Intel oneAPI 下载页面 下载 standalone 安装包，或使用命令行工具安装：

# 示例：使用 apt (Ubuntu/Debian) 添加源并安装
wget -O- https://apt.repos.intel.com/intel-gpg-keys/GPG-PUB-KEY-INTEL-SW-PRODUCTS.PUB | gpg --dearmor | sudo tee /usr/share/keyrings/oneapi-archive-keyring.gpg > /dev/null
echo "deb [signed-by=/usr/share/keyrings/oneapi-archive-keyring.gpg] https://apt.repos.intel.com/oneapi all main" | sudo tee /etc/apt/sources.list.d/oneAPI.list
sudo apt update
sudo apt install intel-oneapi-daal

注：国内用户若遇到下载速度慢的问题，可尝试配置清华或中科大镜像源代理 Conda 通道，或手动下载离线包安装。

方式 C：源码编译（适合高级开发者）

git clone https://github.com/uxlfoundation/oneDAL.git
cd oneDAL
# 请参考根目录下的 INSTALL.md 文件进行具体编译配置

3. 基本使用

oneDAL 主要有两种使用模式：Python 透明加速（最简单）和 C++ 原生调用。

场景一：Python 用户（加速现有 Scikit-learn 代码）

无需修改算法逻辑，只需导入 daal4py 或启用 scikit-learn-intelex 即可自动将后端切换为 oneDAL。

安装扩展包：

pip install scikit-learn-intelex

使用示例：

from sklearnex import patch_sklearn
patch_sklearn()

# 现在所有的 scikit-learn 调用都将自动使用 oneDAL 加速
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier

X, y = make_classification(n_samples=1000, n_features=20)
clf = RandomForestClassifier(n_estimators=100)
clf.fit(X, y)

print("训练完成，已自动加速")

场景二：C++ 用户（原生接口）

以下是一个使用 oneDAL C++ 接口进行 K-Means 聚类的最小化示例（需链接 oneDAL 库）。

#include "oneapi/dal.hpp"
#include <iostream>

int main() {
    // 1. 准备数据 (此处仅为示意，实际需填充数据)
    auto data = oneapi::dal::homogen_table::empty(); 
    // ... 加载数据到 data ...

    // 2. 描述算法参数
    auto desc = oneapi::dal::kmeans::descriptor<float>{
        3, // 聚类中心数量
        oneapi::dal::kmeans::method::lloyd,
        oneapi::dal::kmeans::init::random_dense
    };

    try {
        // 3. 执行训练
        auto result = oneapi::dal::train(desc, data);

        // 4. 获取结果
        auto centers = result.get_model().get_centroids();
        std::cout << "K-Means 训练完成，中心点行数：" << centers.get_row_count() << std::endl;
    } catch (const std::exception& e) {
        std::cerr << "Error: " << e.what() << std::endl;
        return 1;
    }

    return 0;

编译命令示例 (使用 icpx):

icpx -std=c++17 -I${ONEAPI_ROOT}/dal/latest/include your_code.cpp -L${ONEAPI_ROOT}/dal/latest/lib/intel64 -ldal -o kmeans_app

---

更多详细示例代码请访问 GitHub Examples。