什么是 Vaex？

Vaex 是一个高性能的 Python 库，用于实现惰性的 外存 DataFrame （类似于 Pandas），以便可视化和探索大型表格数据集。它可以在 N 维网格 上计算诸如均值、总和、计数、标准差等 统计量， 每秒可处理超过 十亿（10^9）个样本/行。可视化通过 直方图、密度图 和 三维体绘制 实现，从而允许对大数据进行交互式探索。Vaex 使用内存映射、零拷贝策略和惰性计算来达到最佳性能（不浪费内存）。

安装

使用 pip：

$ pip install vaex

或 conda：

$ conda install -c conda-forge vaex

更多详细信息，请参阅文档

核心功能

瞬间打开超大数据文件（内存映射）

支持 HDF5 和 Apache Arrow。

阅读文档了解如何高效地转换您的数据，无论是 CSV 文件、Pandas DataFrame 还是其他来源。

结合内存映射，还支持从 S3 的惰性流式读取。

表达式系统

无需在特征工程上浪费时间和内存，我们会在需要时（惰性地）转换您的数据。

外存 DataFrame

过滤和评估表达式不会因复制而浪费内存；数据原封不动地保留在磁盘上，仅在需要时才会被流式读取。推迟您对集群的需求时间。

快速的 groupby / 聚合

Vaex 实现了并行化的高性能 groupby 操作，尤其是在使用分类变量时（每秒可处理超过十亿条记录）。

快速高效的连接

Vaex 在连接时不会复制或物化“右表”，从而节省了数十 GB 的内存。对于十亿行的数据，连接时间可以低至一秒，速度非常快！

更多功能

• 远程 DataFrame（文档即将发布）
• 集成到 Jupyter 和 Voila 中，用于交互式笔记本和仪表板
• 无需（显式）管道的机器学习

贡献

请参阅 贡献 页面。

Slack

加入我们的 Slack 频道参与讨论！

了解更多关于 Vaex 的信息

• 文章

  • 超越 Pandas：Spark、Dask、Vaex 等大数据技术的正面交锋（包含基准测试）
  • 我为何热爱 Vaex 用于数据科学的 7 个理由（技巧与窍门）
  • 不可能的 ML：使用 Vaex 和 Scikit-Learn，在您的笔记本电脑上 5 分钟内训练 10 亿个样本
  • 如何用 Python 在您的笔记本电脑上分析 100 GB 的数据
  • 乘风破浪：用 Vaex 分析 30 多年的飞行数据
  • Vaex：具有超强字符串功能的 DataFrame——将文本处理速度提升至 1000 倍
  • Vaex：适用于 Python 的外存 DataFrame 和快速可视化——在您的笔记本电脑上处理十亿行数据

• 浏览我们的教程

• 观看我们最近的演讲：

  • PyData London 2019
  • SciPy 2019

• 如需数据科学解决方案、培训或企业级支持，请访问 https://vaex.io/

Vaex 快速上手指南

Vaex 是一个高性能的 Python 库，专为处理超大表格数据集（Out-of-Core DataFrames）而设计。它利用内存映射、零内存复制和惰性计算技术，能够在普通笔记本电脑上每秒处理超过 10 亿行数据的统计计算（如均值、总和、标准差等），并支持直方图、密度图和 3D 体积渲染等交互式可视化。

环境准备

• 操作系统：支持 Linux, macOS, Windows。
• Python 版本：建议 Python 3.7 及以上（具体支持版本请参考 PyPI 徽章）。
• 前置依赖：无需特殊系统级依赖，Vaex 会自动处理底层库。
• 数据格式支持：原生支持 HDF5 和 Apache Arrow 格式以实现极速读取；支持从 CSV、Pandas DataFrame 或其他来源高效转换数据。

安装步骤

推荐使用 pip 或 conda 进行安装。国内用户建议使用清华或阿里镜像源以加速下载。

方式一：使用 pip 安装

# 使用默认源
pip install vaex

# 【推荐】国内用户使用清华镜像源加速安装
pip install vaex -i https://pypi.tuna.tsinghua.edu.cn/simple

方式二：使用 conda 安装

# 使用 conda-forge 渠道
conda install -c conda-forge vaex

# 【推荐】国内用户使用中科大镜像源加速安装
conda install -c https://mirrors.ustc.edu.cn/anaconda/cloud/conda-forge vaex

提示：更多详细的安装选项（如仅安装核心模块 vaex-core）请参阅官方文档。

基本使用

Vaex 的核心优势在于惰性计算和内存映射。以下是最简单的使用示例，展示如何打开大文件、创建虚拟列以及进行快速聚合统计。

1. 导入与数据加载

Vaex 可以瞬间打开巨大的 HDF5 或 Arrow 文件，因为数据并未真正加载到内存中，而是建立了内存映射。

import vaex

# 瞬间打开一个包含十亿行数据的 HDF5 文件 (数据实际上仍在磁盘上)
df = vaex.open('data/big_dataset.hdf5')

# 也可以从其他格式转换，例如将 CSV 转换为高效的 HDF5 格式
# df = vaex.from_csv('data/large_file.csv', convert=True)

2. 表达式系统（特征工程）

无需立即消耗内存创建新列。Vaex 使用惰性表达式系统，只有在需要计算时才会执行。

# 定义一个虚拟列（不会立即计算或占用内存）
# 假设数据集中有 'x' 和 'y' 列
df['r'] = (df.x**2 + df.y**2)**0.5

# 此时数据并未改变，只是注册了一个计算逻辑
print(df.column_names)

3. 快速统计与聚合

对十亿行数据进行统计计算仅需秒级时间。

# 计算整个数据集的统计信息 (均值，标准差等)
print(df.describe())

# 快速的 groupby 操作 (并行化，极高效率)
# 按 'category' 列分组，计算 'value' 列的平均值
result = df.groupby(by=df.category, agg={'mean_value': vaex.agg.mean(df.value)})
print(result)

4. 过滤与可视化

过滤操作不会复制数据，仅在需要时流式传输相关片段。

# 创建一个过滤后的视图 (不复制数据)
df_filtered = df[df.x > 0]

# 快速绘制直方图 (基于十亿行数据)
df.plot(df.x, what='histogram')

通过以上步骤，您可以立即开始利用 Vaex 在本地机器上探索和分析海量数据，而无需立即搭建分布式集群。