AIStore：面向 AI 工作负载的高性能、可扩展存储

AIStore（AIS）是一个专为 AI 应用程序设计的轻量级分布式存储栈。它是一个具有弹性的集群，可以在运行时动态扩展和缩减，并且可以随时随地进行临时部署，无论是否使用 Kubernetes，从单台 Linux 服务器到任意规模的裸金属集群均可支持。AIS 从零开始构建，提供线性扩展能力、一致的性能以及灵活的部署模式。

AIS 是一个可靠的存储集群，能够原生处理集群内部数据和远程数据，而无需将任何一方视为缓存。

AIS 在任意数量的集群节点上均能持续展现出均衡的 I/O 分布和线性扩展性。该系统支持快速的数据访问、高可靠性，并为数据转换工作负载提供了丰富的自定义选项。

特性

• ✅ 多云访问： 无缝访问和管理跨多个云后端的内容（包括 AWS S3、GCS、Azure 和 OCI），具备高速层性能、可配置的冗余机制以及命名空间感知的存储桶标识（不同账号、不同端点、不同提供商下的同名存储桶可以共存）。
• ✅ 随处部署： AIS 可以在任何 Linux 机器上运行，无论是虚拟机还是物理机。部署方式多样，从最小化的容器化部署和Google Colab，到 PB 级的Kubernetes 集群。对于部署规模或功能，没有任何内置限制。
• ✅ 高可用性： 冗余的控制平面和数据平面。具备自我修复能力、端到端保护、多路镜像和纠删码技术。支持任意数量的轻量级接入点（AIS 代理）。
• ✅ 基于 HTTP 的 API： 功能丰富的原生 API（配备易用的 Go 和 Python SDK），并兼容Amazon S3 API，以便运行未经修改的 S3 客户端。
• ✅ 监控： 提供全面的可观测性，集成 Prometheus 指标、Grafana 仪表盘、可配置详细级别的日志记录，以及基于 CLI 的性能跟踪工具，从而实现对集群的完全可见性和故障排查。详情请参阅AIStore 可观测性。
• ✅ 分块对象： 高性能的分块对象表示方式，支持独立检索的分块、元数据 v2 以及校验和保护的清单文件。支持重新分块、并行读取，以及与Get-Batch、blob-downloader和向受支持云后端的分片上传功能的无缝集成。
• ✅ JWT 身份验证与授权： 验证请求中的 JWT 令牌，通过静态密钥或动态 OIDC 发行者 JWKS 查找，实现集群和存储桶级别的访问控制。
• ✅ 安全重定向： 支持使用 HMAC-SHA256 并结合带有版本号的集群密钥（通过 metasync 分发，仅存储在内存中）对重定向 URL 进行可配置的加密签名。
• ✅ 负载感知限流： 基于多维度负载向量（CPU、内存、磁盘、文件描述符、goroutine）的动态请求限流机制，可在压力下保护 AIS 集群。
• ✅ 统一命名空间： 可以将多个 AIS 集群连接在一起，为跨独立集群的数据集提供统一的访问入口，允许用户通过集群特定的标识符引用共享存储桶。
• ✅ 开箱即用的缓存： 除了强大的数据保护功能外，AIS 还提供基于 LRU 的存储桶级可配置缓存，支持逐出阈值和存储容量水位线设置。
• ✅ ETL 卸载： 可以在靠近数据的地方执行 I/O 密集型的数据转换操作，既可以采用内联方式（在每次读取请求过程中即时完成），也可以采用离线方式（批量处理，并将转换后的结果写入目标存储桶）。
• ✅ Get-Batch： 可以通过一次调用检索多个对象和/或归档文件。专为 ML/AI 流程设计，Get-Batch能够在一次操作中获取整个训练批次，组装成一个 TAR 文件（或其他支持的序列化格式），其中包含所有请求的项目，并严格按照用户指定的顺序排列（论文）。
• ✅ 数据一致性： 所有网关之间保证一致性，并在存在远程后端的情况下采用直写语义。
• ✅ 序列化与分片： 原生且一流的 TAR、TGZ、TAR.LZ4 和 ZIP归档文件支持，适用于小文件数据集的高效存储和处理。特性包括与现有未修改的工作流程在所有 API 和子系统中的无缝集成。
• ✅ Kubernetes： 在生产环境中，AIS 可以原生运行在 Kubernetes 上。专门的ais-k8s仓库包含 AIS K8s Operator、Ansible 剧本、Helm 图表以及部署指南。
• ✅ 批处理作业： 提供超过 30 种集群范围内的批处理操作，您可以启动、监控和控制这些作业。当前列表包括：

$ ais show job --help

NAME:
    archive        blob-download  cleanup       copy-bucket    copy-objects      delete-objects
    download       dsort          ec-bucket     ec-get         ec-put            ec-resp
    elect-primary  etl-bucket     etl-inline    etl-objects    evict-objects     evict-remote-bucket
    get-batch      list           lru-eviction  mirror         prefetch-objects  promote-files
    put-copies     rebalance      rechunk       rename-bucket  resilver          summary
    warm-up-metadata

功能集仍在不断扩展，还包括：原生存储桶清单 (NBI)；blob-downloader；AuthN - 身份验证与授权服务器；运行时对TLS 证书的管理；对运行时添加/移除节点的全面支持；自适应速率限制等。

如需了解原始的白皮书和设计理念，请参阅AIStore 概述，其中还包含高层次的框图、术语、API、CLI 等内容。 关于我们在 2024 年 KubeCon 大会上的演讲，请观看AIStore：跨云后端提升 PB 级深度学习性能。

CLI

AIS 包含一个集成的、可脚本化的 CLI，用于管理集群、存储桶和对象，运行及监控批处理作业，查看和下载日志，生成性能报告等：

$ ais <TAB-TAB>

advanced         cluster          etl              ls               prefetch         search           tls
alias            config           evict            ml               put              show             wait
archive          cp               get              mpu              remote-cluster   space-cleanup
auth             create           help             nbi              rmb              start
blob-download    download         job              object           rmo              stop
bucket           dsort            log              performance      scrub            storage

开发者工具

AIS 原生运行于 Kubernetes 上，并采用开放格式——因此，您可以随时使用熟悉的 Linux tar(1)、scp(1)、rsync(1) 等工具将数据从 AIS 复制或迁移出去。

对于开发者和数据科学家而言，还提供以下工具：

• Go API，用于 CLI 和 基准测试工具
• Python SDK + 参考指南
• PyTorch 集成及使用示例
• Boto3 支持

快速入门

1. 阅读入门指南，可在 5 分钟内完成本地安装；或
2. 运行一个由单个网关和单个存储节点组成的最小化容器化 AIS 集群；或
3. 克隆仓库并执行 make kill cli aisloader deploy，随后运行 ais show cluster

---

部署选项

AIS 的部署选项以及其预期用途（开发、生产或首次使用）均已在此处汇总。

前提条件基本上就是拥有一台装有磁盘的 Linux 系统。部署选项范围从最小化容器化部署到任意规模的 PB 级裸金属集群，从单个虚拟机到多机架的高端服务器集群不等。当然，实际应用场景还需要进一步考量。

一些最受欢迎的部署选项包括：

选项	使用场景
本地试用环境	AIS 开发人员或首次使用者，适用于 Linux 或 Mac OS。运行 make kill cli aisloader deploy <<< $'N\nM'，其中 N 是目标的数量，M 是网关的数量
最小化容器化部署	快速测试与评估；单节点设置
GCP/GKE 自动化安装	开发人员、首次使用者、AI 研究人员
大规模生产部署	需要 Kubernetes；通过 ais-k8s 提供

如需进行性能调优，请参阅性能文档以及AIS K8s Playbooks。

现有数据集

AIS 支持多种数据摄取模式：

• ✅ 按需访问： 在工作负载期间实现透明的云访问。
• ✅ PUT： 本地可访问的文件和目录。
• ✅ Promote： 导入本地目标目录和/或挂载在 AIS 目标上的 NFS/SMB 共享。
• ✅ Copy： 整个存储桶、虚拟子目录（递归或非递归）、列表或范围（通过 Bash 扩展）。
• ✅ Download： 可通过 HTTP(S) 访问的数据集和对象。
• ✅ Prefetch： 远程存储桶或选定的对象（来自远程存储桶），包括子目录、列表和/或范围。
• ✅ Archive： 将原始数据集中相关的较小文件分组并存储。

从发布二进制文件安装

您可以通过以下命令安装 CLI 和基准测试工具：

./scripts/install_from_binaries.sh --help

该脚本会从最新的或之前的 GitHub 发布中安装 aisloader 和 CLI，并启用 CLI 自动补全功能。

PyTorch 集成

PyTorch 集成是一系列不断增长的数据集（包括可迭代式和映射式数据集）、采样器和数据加载器：

• 抽象层次与 API 参考
• AIS PyTorch 插件：使用示例
• Jupyter Notebook 示例

AIStore 徽章

让其他人知道您的项目由高性能 AI 存储提供支持：

[![aistore](https://img.shields.io/badge/powered%20by-AIStore-76B900?style=flat&labelColor=000000)](https://github.com/NVIDIA/aistore)

更多文档与指南

• 概述与设计
• 术语与核心抽象
• 网络模型
• 快速入门
• AIS 存储桶：设计与操作
• 可观测性
• 技术博客
• S3 兼容性
• 批处理作业
• 性能 和 CLI 性能
• CLI 参考
• 生产部署：Kubernetes Operator、Ansible 剧本、Helm 图表、监控

如何查找信息

• 请参阅扩展索引
• 使用 CLI 的 search 命令，例如：ais search copy
• 克隆仓库并运行 git grep，例如：git grep -n out-of-band -- "*.md"

许可证

MIT

作者

Alex Aizman (NVIDIA)

AIStore 快速上手指南

AIStore (AIS) 是由 NVIDIA 开源的高性能、可扩展分布式存储系统，专为 AI/ML 工作负载设计。它支持线性扩展、多云接入（AWS S3, GCS, Azure 等），并可在单台 Linux 机器到大规模 Kubernetes 集群间灵活部署。

环境准备

系统要求

• 操作系统: Linux (推荐 Ubuntu 20.04+ 或 CentOS 7+)。macOS 仅适用于本地开发测试（Local Playground）。
• 硬件: 至少需要一块磁盘。生产环境建议配置多块磁盘以提升 I/O 吞吐。
• 容器环境 (可选): 若使用 Docker 部署，需安装 Docker Engine 和 Docker Compose。
• Kubernetes (可选): 生产环境部署需具备 K8s 集群及 kubectl 工具。

前置依赖

• Go 语言: 版本 1.21+ (若需从源码编译)。
• Make: 用于执行构建脚本。
• 网络: 确保节点间网络互通，若访问公有云后端需配置相应网络策略。

注意: 目前官方未提供特定的中国镜像源。国内用户若遇到拉取 Docker 镜像或 Go 模块超时问题，建议配置通用的 Docker 镜像加速器（如阿里云、腾讯云镜像站）及 GOPROXY 环境变量：

export GOPROXY=https://goproxy.cn,direct

安装步骤

根据使用场景，选择以下任一方式快速启动：

方案一：本地快速体验 (Local Playground)

适合开发者在单机（Linux/Mac）上快速验证功能。此命令会自动下载二进制文件并启动一个包含 N 个存储节点和 M 个网关的临时集群。

# 克隆仓库
git clone https://github.com/NVIDIA/aistore.git
cd aistore

# 启动集群 (例如：3 个目标节点，1 个代理节点)
# 系统将自动处理依赖下载和进程启动
make kill cli aisloader deploy <<< $'3\n1'

方案二：Docker Compose 最小化部署

适合在单台 Linux 服务器上通过容器快速搭建生产级架构的最小集合（1 个 Gateway + 1 个 Storage Node）。

# 进入部署目录
cd deploy/prod/docker/compose

# 启动服务
docker compose up -d

# 验证集群状态
docker compose exec ais-aisnode ais show cluster

方案三：Kubernetes 生产部署

适合大规模生产环境。请使用专用的 ais-k8s 仓库进行部署（需预先配置好 K8s 环境）：

git clone https://github.com/NVIDIA/ais-k8s.git
cd ais-k8s
# 参考该仓库 README 使用 Helm 或 Operator 进行部署

基本使用

安装完成后，您可以使用内置的 ais 命令行工具或 Python SDK 进行操作。

1. 检查集群状态

查看集群节点、容量及健康状态：

ais show cluster

2. 创建 Bucket

创建一个名为 my-ai-data 的存储桶：

ais create bucket my-ai-data

3. 上传数据

将本地文件上传至 Bucket：

ais put ./local_dataset.tar.gz ais://my-ai-data/dataset.tar.gz

或者上传整个目录：

ais put ./data_folder/ ais://my-ai-data/

4. 列出对象

查看 Bucket 中的文件列表：

ais ls ais://my-ai-data/

5. 高性能批量读取 (Get-Batch)

AIStore 的核心特性之一是将多个对象打包为 TAR 流一次性读取，极大优化 ML 训练的数据加载效率：

# 获取指定文件列表并打包输出到 stdout 或本地文件
ais get batch --to-file training_batch.tar ais://my-ai-data/file1.jpg ais://my-ai-data/file2.jpg ...

6. Python SDK 示例

在 AI 训练脚本中直接集成：

from aistore.sdk import Client

# 初始化客户端 (默认连接本地)
client = Client("http://localhost:8080")

# 列出 bucket 内容
bucket = client.bucket("my-ai-data")
objects = bucket.list_objects()

# 读取数据 (返回字节流)
for obj in objects[:5]:
    data = bucket.get(obj.name)
    # 此处可接入 PyTorch DataLoader 进行处理
    print(f"Read {obj.name}: {len(data)} bytes")

7. 清理资源

测试结束后，若使用 make 方式部署，可运行以下命令停止并清理集群：

make kill