🌪️ Vortex

Join the community on Slack! | Documentation | Performance Benchmarks

概述

Vortex 是一个专为高性能数据处理设计的下一代列式文件格式和工具包。它是构建对象存储支持的数据系统最快、最可扩展的格式。它提供：

• 极速性能

  • 随机读取速度提升 100 倍（对比现代 Apache Parquet）
  • 扫描速度提升 10-20 倍
  • 写入速度提升 5 倍
  • 相似的压缩比
  • 零拷贝/零解析元数据的高效宽表支持

• 可扩展架构

  • 基于 Apache DataFusion 的可扩展方法建模
  • 可插拔的编码系统、类型系统、压缩策略和布局策略
  • 与 Apache Arrow 零拷贝兼容

• 开源、中立治理

  • Linux Foundation（LF AI & Data）项目
  • Apache-2.0 许可

• 集成

  • Arrow、DataFusion、DuckDB、Spark、Pandas、Polars 等
  • Apache Iceberg（即将推出）

🟢 开发状态：库 API 可能会随版本变化，但现在我们认为文件格式是稳定的。从 0.36.0 版本开始，Vortex 的所有未来版本都将保持文件格式的向后兼容性（即能够读取任何早期版本 >= 0.36.0 写入的文件）。

核心特性

核心能力

• 逻辑类型 - 清晰分离逻辑模式与物理布局
• 零拷贝 Arrow 集成 - 与 Apache Arrow 数组无缝转换
• 可扩展编码 - 带有内置优化的可插拔物理布局
• 级联压缩 - 支持嵌套编码方案
• 高性能计算 - 针对编码数据优化的计算内核
• 丰富的统计信息 - 用于优化的延迟加载摘要统计

技术架构

逻辑与物理设计

Vortex 严格分离逻辑和物理关注点：

• 逻辑层：定义数据类型和模式
• 物理层：处理编码和存储实现
• 内置编码：与 Apache Arrow 的内存格式兼容
• 扩展编码：优化的压缩方案（RLE、字典等）

快速入门

安装

Rust Crate

所有功能都通过主 vortex crate 导出。

cargo add vortex

Python 包

uv add vortex-data

命令行工具（vx）

要浏览 Vortex 文件的结构，可以使用 vx 命令行工具。

# Install latest release
cargo install vortex-tui --locked

# Or build from source
cargo install --path vortex-tui --locked

# Usage
vx browse <file>

开发环境设置

前置条件（macOS）

# Optional but recommended dependencies
brew install flatbuffers protobuf  # For .fbs and .proto files
brew install duckdb               # For benchmarks

# Install Rust toolchain
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# or
brew install rustup

# Initialize submodules
git submodule update --init --recursive

# Setup dependencies with uv
uv sync --all-packages

基准测试

使用 vx-bench 运行比较引擎（DataFusion、DuckDB）和格式（Parquet、Vortex）的基准测试：

# Install the benchmark orchestrator
uv tool install "bench_orchestrator @ ./bench-orchestrator/"

# Run TPC-H benchmarks
vx-bench run tpch --engine datafusion,duckdb --format parquet,vortex

# Compare results
vx-bench compare --run latest

完整文档请参阅 bench-orchestrator/README.md。

性能优化

为获得最佳性能，我们建议使用 MiMalloc：

#[global_allocator]
static GLOBAL_ALLOC: MiMalloc = MiMalloc;

项目信息

许可证

基于 Apache License, Version 2.0 许可。

治理

Vortex 是一个独立的开源项目，不受任何单一公司控制。Vortex Project 是 Linux Foundation Projects 的子项目。治理模式记录在 CONTRIBUTING.md 中，并受 技术宪章 条款的约束。

贡献

在贡献之前，请务必阅读 CONTRIBUTING.md。

报告安全漏洞

如果您发现安全漏洞，请发送邮件至 vuln-report@vortex.dev。

商标

Copyright © Vortex a Series of LF Projects, LLC. 有关使用条款、商标政策和其他项目政策，请参阅 https://lfprojects.org

致谢

Vortex 项目极大地受益于学术界和开源社区的开创性工作。

Vortex 相关研究

• BtrBlocks - 高效列式压缩
• FastLanes & FastLanes on GPU - 高性能整数压缩
• FSST - 快速随机访问字符串压缩
• ALP & G-ALP - 自适应无损浮点压缩
• Procella - YouTube 的统一数据系统
• Anyblob - 高性能对象存储访问
• ClickHouse - 人人可用的快速分析
• MonetDB/X100 - 超流水线查询执行
• Morsel-Driven Parallelism：面向多核时代的 NUMA 感知查询评估格式
• The FastLanes File Format - 表达式运算符

Vortex 在研究中的应用

• Anyblox - 自解码数据集框架（A Framework for Self-Decoding Datasets）
• F3 - 面向未来的开源数据文件格式

开源项目灵感

• Apache Arrow
• Apache DataFusion
• parquet2 - 由 Jorge Leitao 开发
• DuckDB
• Velox 和 Nimble

感谢所有与社区分享知识和代码的贡献者！🚀

Vortex 快速上手指南

Vortex 是一个高性能列式文件格式和工具包，专为基于对象存储的数据系统设计。

环境准备

系统要求

• 操作系统：macOS（Linux/Windows 暂未详细说明）
• Rust 工具链：1.70+ 版本

前置依赖

# 安装 Rust（如果尚未安装）
curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh
# 或使用 Homebrew
brew install rustup

# 可选依赖（推荐）
brew install flatbuffers protobuf duckdb

项目初始化

# 克隆仓库
git clone https://github.com/vortex-data/vortex.git
cd vortex

# 初始化子模块
git submodule update --init --recursive

# 同步依赖
uv sync --all-packages

---

安装步骤

Rust 项目

cargo add vortex

Python 包

uv add vortex-data

命令行工具（vx）

用于浏览 Vortex 文件结构：

# 安装最新发布版本
cargo install vortex-tui --locked

# 或从源码构建
cargo install --path vortex-tui --locked

---

基本使用

命令行浏览文件

vx browse <file>

Python 使用示例

import vortex

# 读取 Vortex 文件
arr = vortex.read("data.vortex")

# 转换为 Arrow 格式（零拷贝）
arrow_array = arr.to_arrow()

# 写入 Vortex 文件
vortex.write(arrow_array, "output.vortex")

Rust 使用示例

use vortex::Array;

fn main() {
    // 读取 Vortex 文件
    let arr = vortex::read("data.vortex").unwrap();
    
    // 转换为 Arrow 格式
    let arrow_arr = arr.to_arrow().unwrap();
}

性能优化

在 Cargo.toml 中添加 MiMalloc 分配器：

[dependencies]
mimalloc = { version = "0.1", default-features = false }

在代码中启用：

#[global_allocator]
static GLOBAL_ALLOC: MiMalloc = MiMalloc;

---

运行基准测试

# 安装基准测试工具
uv tool install "bench_orchestrator @ ./bench-orchestrator/"

# 运行 TPC-H 基准测试
vx-bench run tpch --engine datafusion,duckdb --format parquet,vortex

# 对比结果
vx-bench compare --run latest

---

相关资源

• 官方文档：https://docs.vortex.dev/
• 性能基准：https://bench.vortex.dev
• 社区交流：https://vortex.dev/slack