用于深度学习的 AXLearn 库

本库目前处于积极开发中，API 可能会发生变化。

目录

章节	描述
简介	什么是 AXLearn？
快速入门	快速上手 AXLearn。
概念	核心概念和设计原则。
CLI 用户指南	如何使用 CLI。
基础设施	核心基础设施组件。

简介

AXLearn 是一个基于 JAX 和 XLA 构建的库，旨在支持大规模深度学习模型的开发。

AXLearn 采用面向对象的方法来应对在构建、迭代和维护模型过程中遇到的软件工程挑战。 该库的配置系统允许用户从可重用的模块中组合模型，并与其他库（如 Flax 和 Hugging Face Transformers）无缝集成。

AXLearn 具备良好的可扩展性。 它支持在数千个加速器上以高利用率训练参数规模高达数百亿的模型。 此外，AXLearn 还专为公有云环境设计，提供了部署和管理作业及数据的工具。 基于 GSPMD，AXLearn 采用全局计算范式，使用户能够在一个虚拟的全局计算机上描述计算，而无需逐个加速器地进行定义。

AXLearn 支持广泛的应用领域，包括自然语言处理、计算机视觉和语音识别，并提供了用于训练最先进模型的基准配置。

如需了解更多关于 AXLearn 的核心组件和设计，请参阅 概念；若想立即动手实践，则可参考 快速入门。

AXLearn 快速上手指南

AXLearn 是 Apple 开源的基于 JAX 和 XLA 的深度学习库，专为构建和训练超大规模模型（数千亿参数）设计。它采用面向对象的设计哲学，支持在公有云上高效调度数千个加速器，并兼容 Flax 和 Hugging Face transformers 等生态。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: 推荐 Linux (Ubuntu 20.04+) 或 macOS。Windows 用户建议使用 WSL2。
• Python 版本: Python 3.9 或更高版本。
• 硬件加速:
  • GPU: 需要安装 NVIDIA CUDA 驱动及对应的 JAX GPU 版本。
  • TPU: 需要在 Google Cloud TPU 或 TPU VM 环境中运行。
  • CPU: 仅用于调试或小规模测试，不支持大规模训练。
• 前置依赖:
  • pip (包管理工具)
  • git (代码克隆)

注意：由于 AXLearn 强依赖 JAX 生态，国内用户在安装 JAX 相关组件时可能会遇到网络延迟。建议配置 pip 国内镜像源（如阿里云、清华大学源）以加速依赖下载。

安装步骤

目前 AXLearn 处于活跃开发阶段，官方推荐从源码安装以获取最新功能。

1. 克隆仓库

   git clone https://github.com/apple/axlearn.git
   cd axlearn
   

2. 安装核心依赖与库 建议使用虚拟环境（venv 或 conda）进行隔离。执行以下命令安装库及其依赖：

   pip install -e ".[dev]"
   

3. 验证 JAX 后端 根据您的需求安装特定后端的 JAX。例如，对于 NVIDIA GPU 用户：

   # 使用国内镜像加速安装 (示例：清华源)
   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "jax[cuda12_pip]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
   

   注：请根据您的 CUDA 版本调整 cuda12_pip 部分。

基本使用

AXLearn 的核心设计理念是通过配置文件组合可复用的模块。以下是一个最简单的文本分类模型配置与初始化示例。

1. 导入库

import jax
import jax.numpy as jnp
from axlearn.common import config, module
from axlearn.common.layers import Linear, Embedding

2. 定义模型配置

AXLearn 使用配置对象来描述模型结构，而非直接实例化类。

# 定义一个简单的分类器配置
cfg = config.Config()
cfg.name = "simple_classifier"
cfg.input_dim = 512  # 输入维度 (例如 embedding size)
cfg.num_classes = 10 # 输出类别数

# 组合层：Embedding -> Linear
cfg.embedding = Embedding.default_config().set(num_embeddings=10000, dim=cfg.input_dim)
cfg.classifier = Linear.default_config().set(input_dim=cfg.input_dim, output_dim=cfg.num_classes)

3. 初始化与运行

# 将配置转换为实际的模块实例
model = cfg.instantiate(parent=None)

# 模拟输入数据 (batch_size=2, sequence_length=4)
input_ids = jnp.ones((2, 4), dtype=jnp.int32)

# 初始化参数状态 (需要传入随机密钥和输入示例)
key = jax.random.PRNGKey(0)
state = model.initialize_parameters_recursively(key, input_ids=input_ids)

# 执行前向传播
logits, _ = model.forward(input_ids=input_ids, state=state)

print(f"输出形状：{logits.shape}") 
# 预期输出：(2, 10)，即 batch_size x num_classes

4. 命令行工具 (CLI)

AXLearn 提供了强大的 CLI 用于启动训练任务。查看可用命令：

axlearn --help

运行一个预设的训练任务（需根据实际配置文件路径调整）：

axlearn train --config=path/to/your/config.py --job_name=my_experiment

---

提示：更多核心概念与设计原则请参阅官方文档 Concepts，详细 CLI 用法请参阅 CLI User Guide。