Xorbits 是什么？

Xorbits 是一个开源计算框架，旨在轻松扩展数据科学和机器学习工作负载（Workloads）—— 从数据预处理到调优、训练和模型服务。Xorbits 可以利用多核或 GPU（图形处理器）来加速 单机上的计算，或者扩展到数千台机器以支持处理 TB 级数据以及训练或服务大型模型。

Xorbits 为数据科学家和机器学习从业者提供了一套一流的 库（Libraries）。Xorbits 提供了扩展任务的能力，而无需 深入了解基础设施（Infrastructure）。

Xorbits 具有熟悉的 Python API（应用程序接口），支持多种库，包括 pandas、NumPy、PyTorch、 XGBoost 等。只需简单修改一行代码，您的 pandas 工作流就可以使用 Xorbits 无缝扩展：

为什么选择 Xorbits？

随着 ML（机器学习）和 AI（人工智能）工作负载的复杂性不断增加，计算需求急剧上升。尽管像您的笔记本电脑这样的单节点（Single-Node）开发环境 提供了便利，但在满足这些扩展需求方面却显得力不从心。

将工作流从笔记本电脑无缝扩展到集群（Cluster）

要使用 Xorbits，您不需要指定如何分发数据，甚至不需要知道系统有多少个核心。 您可以继续使用现有的 Notebooks（笔记本），即使是在笔记本电脑上，也能享受 Xorbits 带来的显著速度提升。

处理 pandas 无法处理的大型数据集

Xorbits 可以 利用您所有的计算核心。 这对于处理 更大的数据集 尤其有益， 在这些情况下，pandas 可能会变慢或耗尽内存。

闪电般的速度

根据我们的基准测试（Benchmark Tests），Xorbits 在速度和可扩展性方面超越了其他流行的 pandas API 框架。 查看我们的 性能对比 ，解释 和 研究论文。

通过原生集成利用 Python 生态系统（Ecosystem）

Xorbits 旨在充分利用整个 ML 生态系统，提供与 pandas 和其他库的原生集成。

哪里获取？

源代码当前托管在 GitHub 上：https://github.com/xorbitsai/xorbits

最新版本的二进制安装程序可在 Python 包索引（PyPI） 获取。

# PyPI
pip install xorbits

其他资源

• 文档
• 性能基准测试
• 开发指南
• 关于 Xorbits 内部机制的研究论文

许可证

Apache 2

路线图（Roadmaps）

我们未来希望实现的主要目标包括以下内容：

• 从 pandas 原生过渡到 Arrow 原生进行数据存储
  这将大幅降低内存成本，并且对计算引擎（Compute Engine）更友好。
• 引入利用向量化（Vectorization）和代码生成（Codegen）等技术来加速计算的原生引擎。
• 尽可能多地扩展库和算法！

更详细的路线图将很快公布。敬请期待！

与 Mars 的关系

Xorbits 的创建者主要是 Mars 的创建者，我们目前基于 Mars 构建 Xorbits 以减少重复工作，但 Xorbits 的愿景表明将所有内容放在 Mars 上并不 合适。相反，我们需要一个新项目 来更好地支持路线图。在未来，我们将用我们即将提出的其他组件替换一些核心内部组件。 敬请期待！

参与进来

平台	目的
Github Issues	报告错误和提交功能请求。
StackOverflow	询问如何使用 Xorbits 的问题。
Slack	与其他 Xorbits 用户协作。

引用 Xorbits

如果 Xorbits 对您有帮助，请使用以下元数据引用我们的论文：

@inproceedings{lu2024Xorbits,
  title = {Xorbits: Automating Operator Tiling for Distributed Data Science},
  shorttitle = {Xorbits},
  booktitle = {2024 {{IEEE}} 40th {{International Conference}} on {{Data Engineering}} ({{ICDE}})},
  author = {Lu, Weizheng and He, Kaisheng and Qin, Xuye and Li, Chengjie and Wang, Zhong and Yuan, Tao and Liao, Xia and Zhang, Feng and Chen, Yueguo and Du, Xiaoyong},
  year = {2024},
  month = may,
  pages = {5211--5223},
  issn = {2375-026X},
  doi = {10.1109/ICDE60146.2024.00392},
}

Xorbits 快速上手指南

环境准备

• 系统要求：支持 Linux、macOS 及 Windows 系统
• 前置依赖：已安装 Python 环境及 pip 包管理工具

安装步骤

推荐使用 pip 从 PyPI 安装最新版本的 Xorbits：

pip install xorbits

基本使用

Xorbits 提供了与原生 pandas 高度一致的 API，旨在让用户无需深入了解基础设施即可扩展任务。只需修改一行代码，即可将现有的 pandas 工作流无缝迁移至 Xorbits 以获得性能提升。

1. 替换导入语句 将原有的 import pandas as pd 修改为：

   import xorbits.pandas as pd
   

2. 执行现有代码 保持后续数据处理逻辑不变。Xorbits 将自动利用所有计算核心加速运算，并有效处理超出单机内存限制的大型数据集。

3. 生态兼容性 除了 pandas，该框架还支持 NumPy、PyTorch、XGBoost 等主流机器学习库的分布式扩展。

更多资源：官方文档 | GitHub 源码