MLDB 是机器学习数据库

MLDB 是一个为机器学习设计的开源 SQL 数据库，由 MLDB.ai 开发。自 2017 年 MLDB.ai 被 Element AI 收购以来，它不再作为商业支持的产品提供服务，而是由极少数人利用业余时间以开源研究项目的形式进行开发。

原 MLDB 企业版、MLDB Docker 容器以及 MLDB Hub 均已停止维护，请勿使用。

MLDB 是一个专为机器学习设计的开源数据库。您可以将其作为命令行工具安装在任何地方，既可以以脚本方式运行，也可以通过 RESTful API 发送命令来存储数据、使用 SQL 进行探索，进而训练机器学习模型并将其部署为 API。更多信息请访问 http://mldb.ai。

本仓库包含 MLDB 的源代码，可用于 构建 MLDB。构建是获取最新版本的唯一途径。MLDB 可以在 Linux 或 macOS 上编译和运行，支持 Intel、ARM 和 Apple 处理器。CI/CD 流水线托管在 GitLab 上。

如果您在构建或运行 MLDB 时遇到任何问题，或者有任何疑问，请 创建 GitHub 问题 或者在 Gitter 上与我们交流。请注意，这是一个开源项目，参与开发的人员都有自己的本职工作。

MLDB 有哪些值得关注的地方？

MLDB 包含一些有趣的概念：

• 一种对机器学习有用的 SQL 方言
• 高效的数据加载实现、经典机器学习算法的训练以及预测端点
• 数据集抽象，能够有效建模多种真实世界数据（表格型、稀疏型、行为数据、日志文件等）
• 专为机器学习设计的数据模型和类型系统，包括嵌套结构、嵌入向量和张量等数据类型
• “一切皆表”的设计理念，允许对机器学习模型进行操作和内省
• 无锁且高性能的 REST 端点
• 通过插件实现的扩展性，支持 C++、Python 和 JavaScript

MLDB 目前被用于探索以下研究方向：

• 高效的内存数据存储
• 机器学习算法的高速训练
• 内存映射数据结构
• 不依赖计算平台的处理抽象

目前，MLDB 正在进行重构，核心功能将大幅精简，其他功能则以插件形式实现，并计划支持更广泛的部署平台。

MLDB 的最终愿景是成为一种“反平台”的机器学习工具：通过允许用户在独立于其原始创建平台的环境中对机器学习解决方案进行操作和转换，并根据运行时环境进行优化，从而简化机器学习解决方案的构建和部署流程。

文档

原始的 Markdown 格式文档位于 container_files/public_html/doc 目录下，您可以在 GitHub 上浏览这些文件，也可以访问完整渲染后的版本：https://docs.mldb.ai。这些文档基于最后一次商业发布版本编写，因此已经过时，但仍然具有一定的参考价值。

版权与许可（Apache License v2.0）

MLDB © 2016 mldb.ai Inc（及其继承者）及贡献者所有，采用 Apache 许可证 2.0 版 进行分发。不过，ext 目录下的内容除外，该目录包含其他开源软件组件的修改版本（可能），每个组件都遵循各自的 Apache 兼容许可证，并标注了相应的版权声明。各组件的源代码可通过其 Git 子模块获取，而对这些组件在 mldbai GitHub 组织中的任何修改，均默认适用与被修改作品相同的许可证。

MLDB 快速上手指南

MLDB 是一个专为机器学习设计的开源 SQL 数据库。它允许用户通过 SQL 存储和探索数据，训练经典机器学习模型，并将模型作为 API 暴露出来。注意：自 2017 年项目转为社区维护的开源研究项目后，原有的商业版、Docker 容器及 Hub 已停止维护，构建源码是获取最新版本的唯一途径。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS (OSX)。
• 硬件架构：支持 Intel、ARM 或 Apple Silicon 处理器。
• 前置依赖：
  • 由于需要从头编译，请确保系统已安装基础的构建工具链（如 gcc/clang, make, git 等）。
  • 建议预留充足的内存和磁盘空间以应对编译过程。

提示：本项目由志愿者利用业余时间维护，构建过程可能需要一定时间。如遇问题，可通过 Gitter 社区交流或在 GitHub Issues 反馈。

安装步骤

目前官方未提供预编译的二进制包或维护中的 Docker 镜像，您需要通过源码自行构建。

1. 克隆源代码仓库

   git clone --recursive https://github.com/mldbai/mldb.git
   cd mldb
   

   注意：务必使用 --recursive 参数以拉取必要的子模块。

2. 执行构建 具体的构建命令和依赖细节请参阅项目根目录下的 Building.md 文件。通常在 Linux 环境下，构建流程涉及配置和编译步骤：

   # 示例流程（具体请以 Building.md 为准）
   ./configure
   make
   

3. 验证安装 构建完成后，生成的可执行文件即可作为命令行工具使用，或通过 RESTful API 启动服务。

基本使用

MLDB 的核心工作流是：加载数据 -> SQL 探索 -> 训练模型 -> 部署 API。以下是最基础的使用概念示例：

1. 启动服务

构建完成后，运行 MLDB 服务器（默认监听本地端口）：

./mldb_runner

2. 通过 REST API 交互

MLDB 主要通过 HTTP REST API 进行操作。您可以使用 curl 发送请求。

示例：创建一个简单的数据集并插入数据

# 创建一个名为 "my_dataset" 的稀疏数据集
curl -X PUT http://localhost:8080/v1/datasets/my_dataset \
     -d '{ "type": "sparse.mutable" }'

# 向数据集中插入一行数据 (行名为 "row_1", 特征 "feature_a" 值为 10)
curl -X POST http://localhost:8080/v1/datasets/my_dataset/rows \
     -d '{
           "rowName": "row_1",
           "columns": [ ["feature_a", 10, 0] ]
         }'

示例：使用 SQL 查询数据

curl -X GET "http://localhost:8080/v1/query?q=SELECT%20*%20FROM%20my_dataset"

示例：训练一个简单的分类器 MLDB 支持通过 SQL 语句直接触发机器学习训练任务（具体语法参考官方文档）：

CREATE PROCEDURE train_model AS
TRAIN CLASSIFIER my_classifier
ON (SELECT * FROM my_dataset)
USING { 'algorithm': 'linear_regression', 'label': 'feature_a' };

3. 扩展性

MLDB 支持通过插件进行扩展，您可以使用 C++、Python 或 Javascript 编写自定义功能，以适应特定的机器学习需求。

---

更多详细文档（基于上一商业版本，仅供参考）可访问：https://docs.mldb.ai