English | 中文

目录

1. 我们的理念
2. 面向机器学习应用的特征平台
3. 亮点
4. 常见问题解答
5. 下载与安装
6. 快速入门
7. 使用案例
8. 文档
9. 路线图
10. 贡献
11. 社区
12. 出版物
13. 用户列表

OpenMLDB 是一款开源的机器学习数据库，提供用于训练和推理的一致性特征计算平台。

1. 我们的理念

在人工智能（AI）工程化过程中，95% 的时间和精力都耗费在数据相关的工作上。为了应对这一挑战，科技巨头们投入数千小时自建数据和特征平台，以解决诸如数据泄露、特征回填和效率等问题。而其他中小型企业则不得不购买昂贵的 SaaS 工具和数据治理服务。

OpenMLDB 是一款开源的机器学习数据库，致力于解决数据和特征方面的难题。它已在数百个真实的企业级应用场景中部署，优先支持使用 SQL 进行特征工程，为开源社区提供一个能够实现训练与推理一致性特征的平台。

2. 面向机器学习应用的特征平台

实时特征对于许多机器学习应用至关重要，例如实时个性化推荐和风险分析。然而，数据科学家开发的特征工程脚本（通常是 Python 脚本）无法直接部署到生产环境中进行在线推理，因为它们通常无法满足低延迟、高吞吐量和高可用性等工程需求。因此，需要专门的工程团队介入，利用数据库或 C++ 对源代码进行重构和优化，以确保其高效性和鲁棒性。由于开发和部署生命周期涉及两个团队和两套工具链，验证一致性变得尤为重要，而这往往需要耗费大量时间和人力。

OpenMLDB 专为机器学习应用设计，旨在实现“开发即部署”的目标，从而大幅降低从离线训练到在线推理的成本。基于 OpenMLDB，整个生命周期只需三步：

• 第一步：基于 SQL 进行离线特征工程脚本开发
• 第二步：仅需一条命令即可完成 SQL 在线部署
• 第三步：配置在线数据源以导入实时数据

完成这三步后，系统即可提供实时特征，并经过高度优化以实现低延迟和高吞吐量的生产环境需求。

为实现“开发即部署”的目标，OpenMLDB 被设计成能够为训练和推理提供一致性的特征。上图展示了 OpenMLDB 的高层架构，由四个关键组件组成：(1) 统一的编程语言 SQL；(2) 用于超低延迟服务的实时 SQL 引擎；(3) 基于 定制化的 Spark 发行版 的批处理 SQL 引擎；(4) 统一的执行计划生成器，用于连接批处理和实时 SQL 引擎，以保证一致性。

3. 亮点

训练与推理的一致性特征：基于统一的执行计划生成器，能够为离线训练和在线推理生成正确且一致的特征，实现无数据泄露的便捷时间旅行。

超低延迟的实时特征：实时 SQL 引擎从零开始构建，并针对时序数据进行了特别优化。它能够在几毫秒内生成实时特征，性能显著优于其他商业内存数据库系统（图 9 和 10，VLDB 2021 论文）。

用 SQL 定义特征：SQL 被用作定义和管理特征的统一编程语言。此外，SQL 还针对特征工程进行了扩展，例如新增了 LAST JOIN 和 WINDOW UNION 等语法。

适用于生产环境的机器学习应用：生产级特性无缝集成，支持企业级机器学习应用，包括分布式存储与计算、故障恢复、高可用性、无缝扩容、平滑升级、监控以及异构内存支持等。

4. 常见问题解答

1. OpenMLDB 的应用场景有哪些？

   目前，OpenMLDB 主要定位于机器学习应用的特征平台，其优势在于低延迟的实时特征。它提供了“开发即部署”的能力，能够显著降低机器学习应用的开发和部署成本。此外，OpenMLDB 还内置了一个高效且功能完备的时序数据库，广泛应用于金融、物联网等领域。

2. OpenMLDB 是如何发展起来的？

   OpenMLDB 最初源自 4Paradigm（一家领先的人工智能服务提供商）的商业产品。2021 年，核心团队在该商业产品的基础上进行了抽象、增强，并开发了更符合社区需求的功能，随后将其以开源项目的形式对外发布，旨在帮助更多企业以低成本实现数字化转型。在开源之前，OpenMLDB 已与 4Paradigm 的其他商业产品一起成功部署于数百个实际的机器学习应用场景中。

   需要注意的是，尽管名称相似，但 OpenMLDB 与自 2015 年开始开发的另一个开源项目 MLDB 并无关联。

3. OpenMLDB 是一个特征存储吗？

   OpenMLDB 不仅仅是一个为机器学习应用提供特征的特征存储。它能够在几毫秒内生成实时特征。目前市场上大多数特征存储系统主要通过同步离线预计算好的特征来提供在线特征，而无法生成低延迟的实时特征。相比之下，OpenMLDB 利用其优化的在线 SQL 引擎，能够高效地在几毫秒内生成实时特征。

4. 为什么 OpenMLDB 选择使用 SQL 来定义和管理特征？

   SQL（及其扩展）具有简洁优雅的语法和强大的表达能力。基于 SQL 的编程方式可以大幅降低使用 OpenMLDB 的学习曲线，同时也有助于团队协作和知识共享。

5. 下载与安装

• 下载：GitHub 发布页面、国内镜像站
• 安装与部署：英文文档、中文文档

6. 快速入门

OpenMLDB 快速入门

7. 使用案例

我们正在整理一系列基于 OpenMLDB 的真实应用场景，以展示它如何适配您的业务需求。

使用案例	使用工具	简介
纽约市出租车行程时长预测	OpenMLDB、LightGBM	这是 Kaggle 上的一个挑战赛，目标是预测纽约市出租车行程的总时长。详细信息请参阅 此处。本案例展示了如何使用 OpenMLDB 和 LightGBM 这两个开源工具，轻松构建端到端的机器学习应用。
从 Pulsar 导入实时数据流	OpenMLDB、Pulsar、OpenMLDB-Pulsar 连接器	Apache Pulsar 是一个云原生的流式处理平台。借助 OpenMLDB-Kafka 连接器，我们可以将 Pulsar 中的实时数据流无缝导入 OpenMLDB，作为在线数据源。
从 Kafka 导入实时数据流	OpenMLDB、Kafka、OpenMLDB-Kafka 连接器	Apache Kafka 是一个分布式事件流平台。通过 OpenMLDB-Kafka 连接器，Kafka 中的实时数据流可以被导入 OpenMLDB，作为在线数据源。
从 RocketMQ 导入实时数据流	OpenMLDB、RocketMQ、OpenMLDB-RocketMQ 连接器	Apache RocketMQ 是一个分布式消息和流处理平台。利用 OpenMLDB-RocketMQ 连接器，可以高效地将 RocketMQ 中的实时数据流导入 OpenMLDB。
在 DolphinScheduler 中构建端到端机器学习流水线	OpenMLDB、DolphinScheduler、OpenMLDB 任务插件	本案例演示如何基于 OpenMLDB 和 DolphinScheduler（一个开源的工作流调度平台）构建端到端的机器学习流水线，包括特征工程、模型训练和部署等环节。
广告点击欺诈检测	OpenMLDB、XGBoost	本示例使用 OpenMLDB 和 XGBoost 来检测在线广告中的点击欺诈行为，相关比赛详情请参阅 此处。
基于 SQL 的机器学习流水线	OpenMLDB、Byzer、OpenMLDB Byzer 插件	Byzer 是一种低代码的开源编程语言，适用于数据处理、分析和人工智能领域。Byzer 已集成 OpenMLDB，从而支持使用 SQL 构建机器学习流水线。
在 Airflow 中构建端到端机器学习流水线	OpenMLDB、Airflow、Airflow OpenMLDB 提供者插件、XGBoost	Airflow 是一款流行的工作流管理和调度工具。本示例展示了如何通过提供的插件包，在 Airflow 中高效地调度 OpenMLDB 任务。
精准营销	OpenMLDB、OneFlow	OneFlow 是一个用户友好、可扩展且高效的深度学习框架。本案例展示了如何使用 OpenMLDB 进行特征工程，再结合 OneFlow 进行模型训练和推理，从而构建一个用于精准营销的应用程序，具体参考 京东数据平台。

8. 文档

• 中文文档：https://openmldb.ai/docs/zh
• 英文文档：https://openmldb.ai/docs/en/

9. 路线图

请参阅我们的公开路线图页面。

此外，开发路线图上还有一些重要的功能尚未排期。我们非常欢迎对这些功能的任何反馈。

• 云原生的 OpenMLDB
• 自动特征提取
• 基于异构存储和计算资源的优化
• 面向边缘计算的轻量级 OpenMLDB

10. 贡献

我们非常感谢社区的贡献。

• 如果您有兴趣参与贡献，请阅读我们的贡献指南以获取更多详细信息。
• 对于新贡献者，您可以从标记为 good first issue 的问题列表开始。
• 如果您有 OpenMLDB 开发经验，或者希望挑战一个可能需要 1-2 周完成的任务，可以查看标记为 call-for-contributions 的问题列表。

11. 社区

• 官网：https://openmldb.ai/en

• 邮箱：contact@openmldb.ai

• Slack

• GitHub Issues 和 GitHub Discussions：GitHub Issues 用于报告 bug 和收集新功能需求。GitHub Discussions 则开放用于与 OpenMLDB 相关的任何讨论。

• 博客（英文）

• 博客（中文）

• PMC 维护的公共网盘：英文 | 中文

• 开发者邮件列表

• 微信群（中文）：

  

12. 出版物

• OpenMLDB：面向在线机器学习的实时关系型数据特征计算系统。周轩赫、周伟、齐立国、张浩、陈迪浩、何炳胜、陆勉、李国梁、吴凡、陈宇强。SIGMOD 2025。
• PECJ：具有主动误差补偿的无序数据流上的流式窗口连接。曾宪志、张书豪、钟洪斌、张浩、陆勉、郑兆和陈宇强。2024 年国际数据管理会议（SIGMOD/PODS）。
• 机器学习实时特征计算平台的原则与实践。张浩、杨俊、陈诚、王思琪、李家树和陆勉。2023 年。《ACM 通信》第 66 卷第 7 期（2023 年 7 月），77–78 页。
• OpenMLDB 中现代多核处理器上的可扩展在线区间连接。张浩、曾宪志、张书豪、刘欣怡、陆勉和郑兆。发表于 2023 年 IEEE 第 39 届国际数据工程会议（ICDE）。[代码]
• FEBench：实时关系型数据特征提取基准测试。周轩赫、陈诚、李坤义、何炳胜、陆勉、刘乔生、黄伟、李国梁、郑兆和陈宇强。2023 年国际大型数据库会议（VLDB）。[代码]。
• 联邦学习中的时间序列特征提取系统。王思琪、李家树、陆勉、郑兆、陈宇强和何炳胜。2022 年。发表于第 31 届 ACM 国际信息与知识管理会议（CIKM）论文集中。[代码]。
• 利用持久内存优化用于 AI 驱动在线决策增强的内存数据库引擎。陈诚、杨俊、陆勉、王泰泽、郑兆、陈宇强、戴文渊、何炳胜、黄永辉、吴国安、赵玉萍和鲁道夫。2021 年国际大型数据库会议（VLDB）。

13. 用户列表

我们正在建立用户列表，以收集社区的反馈。如果您在使用 OpenMLDB 时能提供您的使用场景、评论或其他反馈，我们将不胜感激。我们期待您的声音！

OpenMLDB 快速上手指南

OpenMLDB 是一个开源的机器学习数据库，专为机器学习应用提供特征平台。它通过统一的 SQL 接口，确保离线训练和在线推理的特征一致性，实现“开发即部署”，显著降低从模型训练到线上服务的成本。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：推荐 Linux (CentOS 7+, Ubuntu 18.04+) 或 macOS。Windows 用户建议使用 WSL2 或 Docker。
• 内存：至少 4GB RAM（生产环境建议 8GB+）。
• 前置依赖：
  • Docker & Docker Compose（推荐方式，最简便）
  • 或者安装 Java (JDK 8/11) 和 Maven（用于源码编译或独立部署）
  • Python 3.6+ (如需使用 Python SDK)

提示：对于国内开发者，推荐使用 Docker 镜像加速或访问国内镜像站获取资源。

2. 安装步骤

方式一：使用 Docker 快速启动（推荐）

这是最简单的体验方式，一键启动包含所有组件的单机版 OpenMLDB。

# 拉取最新镜像（国内用户可使用阿里云等加速器配置）
docker pull 4pdosc/openmldb:latest

# 启动 OpenMLDB 容器
docker run -it --rm --name openmldb \
  -p 9000:9000 -p 6502:6502 \
  4pdosc/openmldb:latest

启动成功后，您将进入 OpenMLDB 的命令行交互界面 (openmldb>).

方式二：下载二进制包或源码编译

如果您需要更灵活的部署，可以从官方发布页或国内镜像站下载。

• GitHub Release: https://github.com/4paradigm/OpenMLDB/releases
• 国内镜像站: https://www.openmldb.com/download/ (推荐国内用户)

下载后解压，并执行以下命令启动单机模式：

cd openmldb-<version>
bin/start.sh standalone

随后连接客户端：

bin/openmldb --zk_cluster=127.0.0.1:2181 --zk_path=/openmldb

3. 基本使用

OpenMLDB 的核心工作流分为三步：导入数据 -> 定义特征 (SQL) -> 部署服务。

以下是一个基于出租车行程预测的极简示例。

第一步：创建表并导入数据

在 openmldb> 命令行中，首先创建一张表并插入测试数据。

-- 创建表
CREATE TABLE taxi_trip_data (
    trip_id string,
    vendor_id int,
    pickup_datetime timestamp,
    dropoff_datetime timestamp,
    passenger_count int,
    trip_distance double,
    rate_code_id int,
    store_and_fwd_flag string,
    pickup_location_id int,
    dropoff_location_id int,
    payment_type int,
    fare_amount double,
    extra double,
    mta_tax double,
    tip_amount double,
    tolls_amount double,
    improvement_surcharge double,
    total_amount double,
    congestion_surcharge double
);

-- 插入模拟数据
INSERT INTO taxi_trip_data VALUES 
('trip_001', 1, 1609459200000, 1609459800000, 1, 2.5, 1, 'N', 100, 200, 1, 10.5, 0.5, 0.5, 2.0, 0.0, 0.3, 13.8, 0.0),
('trip_002', 1, 1609459300000, 1609460000000, 2, 3.0, 1, 'N', 101, 201, 1, 12.0, 0.5, 0.5, 2.5, 0.0, 0.3, 15.8, 0.0);

第二步：使用 SQL 定义特征

OpenMLDB 扩展了 SQL 语法（如 LAST JOIN 和 WINDOW），用于处理时间序列特征工程。以下示例计算过去 1 小时内同一司机的平均车费。

-- 定义特征提取逻辑
SELECT 
    trip_id,
    vendor_id,
    AVG(fare_amount) OVER w AS avg_fare_1h
FROM taxi_trip_data
LAST JOIN (
    SELECT trip_id, vendor_id, fare_amount, pickup_datetime 
    FROM taxi_trip_data
) t2
ON taxi_trip_data.vendor_id = t2.vendor_id
WINDOW w AS (
    PARTITION BY taxi_trip_data.vendor_id 
    ORDER BY taxi_trip_data.pickup_datetime 
    ROWS_RANGE BETWEEN 1h PRECEDING AND CURRENT ROW
);

第三步：部署为在线服务

确认特征逻辑无误后，只需一条命令即可将上述 SQL 部署为在线 API 服务。

-- 部署特征服务
DEPLOY demo_deployment AS 
SELECT 
    trip_id,
    AVG(fare_amount) OVER w AS avg_fare_1h
FROM taxi_trip_data
LAST JOIN (
    SELECT trip_id, vendor_id, fare_amount, pickup_datetime 
    FROM taxi_trip_data
) t2
ON taxi_trip_data.vendor_id = t2.vendor_id
WINDOW w AS (
    PARTITION BY taxi_trip_data.vendor_id 
    ORDER BY taxi_trip_data.pickup_datetime 
    ROWS_RANGE BETWEEN 1h PRECEDING AND CURRENT ROW
);

部署成功后，您可以通过 REST API 或 JDBC/Python SDK 调用该服务进行实时推理，无需重新编写代码。

使用 Python SDK 调用

import openmldb

# 初始化客户端
sdk = openmldb.client()
sdk.init("127.0.0.1:9000")

# 调用部署好的服务
result = sdk.call_procedure("demo_deployment", ["trip_003", 1, 1609460000000, ...]) # 填入对应字段
print(result)

---

更多详细文档、高级用例及集群部署方案，请访问 OpenMLDB 中文文档。