higgsfield - 多节点训练，无需烦恼

Higgsfield 是一个开源、容错性强、高度可扩展的 GPU 编排工具及机器学习框架，专为训练拥有数十亿到数万亿参数的模型而设计，例如大型语言模型（LLMs）。

Higgsfield 既是 GPU 工作负载管理器，也是一款具备五大核心功能的机器学习框架：

1. 为用户分配计算资源（节点）的独占或非独占访问权限，以支持其训练任务。
2. 支持 ZeRO-3 deepspeed API 和 PyTorch 的全切片数据并行 API，从而实现对数万亿参数模型的高效分片。
3. 提供在已分配节点上启动、执行和监控大型神经网络训练的框架。
4. 通过维护实验运行队列来管理资源争用问题。
5. 通过与 GitHub 和 GitHub Actions 的无缝集成，促进机器学习开发的持续集成。 Higgsfield 简化了大规模模型训练流程，为开发者提供了一套多功能且强大的工具集。

安装

$ pip install higgsfield==0.0.3

训练示例

要在分布式环境中训练 LLaMa 模型，您只需执行以下操作：

from higgsfield.llama import Llama70b
from higgsfield.loaders import LlamaLoader
from higgsfield.experiment import experiment

import torch.optim as optim
from alpaca import get_alpaca_data

@experiment("alpaca")
def train(params):
    model = Llama70b(zero_stage=3, fast_attn=False, precision="bf16")

    optimizer = optim.AdamW(model.parameters(), lr=1e-5, weight_decay=0.0)

    dataset = get_alpaca_data(split="train")
    train_loader = LlamaLoader(dataset, max_words=2048)

    for batch in train_loader:
        optimizer.zero_grad()
        loss = model(batch)
        loss.backward()
        optimizer.step()

    model.push_to_hub('alpaca-70b')

全部如何完成？

1. 我们会在您的服务器上安装所有必需的工具（Docker、您项目的部署密钥、higgsfield 二进制文件）。
2. 那么我们会为您的实验生成部署与运行工作流。
3. 一旦代码进入 GitHub，它将自动在您的节点上部署代码。
4. 接着您可以通过 GitHub 访问实验运行界面，该界面会启动实验并保存检查点。

设计理念

我们遵循标准的 PyTorch 工作流程。因此，除了我们提供的工具外，您还可以整合 deepspeed、accelerate，或者从头开始实现自定义的 pytorch 分片逻辑。

环境地狱

不再有不同版本的 PyTorch、NVIDIA 驱动程序以及数据处理库的问题。 您可以轻松编排实验及其环境，记录并追踪所有依赖项的具体版本和配置，以确保实验的可重复性。

配置地狱

无需再为您的实验定义 600 个参数。也不必再进行 yaml 黑魔法。 您可以随心所欲地使用任何工具。我们仅提供一个简单的接口来定义您的实验。我们甚至更进一步，现在您只需设计交互方式即可。

兼容性

您的节点需要满足以下条件：

• Ubuntu 系统
• SSH 访问权限
• 非 root 用户且具有 sudo 权限（需设置免密码）

我们已测试过的云平台：

• Azure
• LambdaLabs
• FluidStack

如果您在其他云平台上遇到问题，请随时提交 issue。

开始使用

设置

在这里您可以找到快速入门指南，了解如何设置节点并开始训练。

• 初始化项目
• 设置环境
• 设置 git
• 是时候设置您的节点了！
• 运行您的第一个实验
• 系好安全带，该部署了！

教程

用于大型语言模型训练中常见任务的 API。

• 处理分布式模型
• 准备数据
• 优化模型参数
• 保存模型
• 训练稳定性技术
• 监控

平台	目的	预计响应时间	支持级别
Github Issues	Bug 报告、功能请求、安装问题、使用问题等	< 1 天	Higgsfield 团队
Twitter	及时了解新功能	每日	Higgsfield 团队
网站	讨论、新闻	< 2 天	Higgsfield 团队

Higgsfield 快速上手指南

简介

Higgsfield 是一个开源、容错且高度可扩展的 GPU 编排及机器学习框架，专为训练数十亿至数万亿参数的大规模模型（如大型语言模型 LLM）而设计。它简化了大规模模型的训练流程，支持 ZeRO-3 DeepSpeed API 和 PyTorch 完全分片数据并行 API，并通过与 GitHub 的无缝集成实现持续集成。

环境准备

在开始之前，请确保您的计算节点满足以下要求：

• 操作系统：Ubuntu
• 访问权限：具备 SSH 访问权限
• 用户权限：非 root 用户，但需拥有 sudo 权限（建议配置免密码 sudo）
• 云服务商：已在 Azure、LambdaLabs、FluidStack 上测试通过
• 前置工具：Docker、Git（用于代码部署与版本控制）

注意：Higgsfield 会自动在服务器上安装所需工具（如 Docker、部署密钥等），但您需要预先准备好符合上述条件的节点。详细的节点初始化请参考官方 Setup 文档。

安装步骤

在本地开发环境或管理终端中，使用 pip 安装 Higgsfield。为了提升国内下载速度，建议使用清华源或阿里云源。

# 默认安装
$ pip install higgsfield==0.0.3

# 推荐使用国内镜像加速
$ pip install higgsfield==0.0.3 -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

Higgsfield 遵循标准的 PyTorch 工作流。以下是一个在分布式环境下训练 LLaMa 模型的最小化示例。该脚本定义了实验逻辑，随后将通过 GitHub Actions 自动部署到节点上运行。

from higgsfield.llama import Llama70b
from higgsfield.loaders import LlamaLoader
from higgsfield.experiment import experiment

import torch.optim as optim
from alpaca import get_alpaca_data

@experiment("alpaca")
def train(params):
    model = Llama70b(zero_stage=3, fast_attn=False, precision="bf16")

    optimizer = optim.AdamW(model.parameters(), lr=1e-5, weight_decay=0.0)

    dataset = get_alpaca_data(split="train")
    train_loader = LlamaLoader(dataset, max_words=2048)

    for batch in train_loader:
        optimizer.zero_grad()
        loss = model(batch)
        loss.backward()
        optimizer.step()

    model.push_to_hub('alpaca-70b')

核心流程说明

1. 定义实验：使用 @experiment 装饰器标记训练函数。
2. 编写逻辑：像普通 PyTorch 一样编写模型加载、优化器设置和数据迭代逻辑。
3. 提交代码：将代码推送到 GitHub，Higgsfield 会自动触发部署工作流。
4. 监控与保存：通过 GitHub 界面访问实验运行 UI，查看进度并保存检查点。

更多详细教程（包括数据准备、参数优化、监控等）请参考官方 Tutorial 文档。