FEDML 开源：统一且可扩展的机器学习库，可在任何规模、任何环境中运行训练与部署

由 TensorOpera AI 提供支持：您的规模化生成式 AI 平台（https://TensorOpera.ai）

TensorOpera 文档：https://docs.TensorOpera.ai

TensorOpera 首页：https://TensorOpera.ai/
TensorOpera 博客：https://blog.TensorOpera.ai/

加入社区： Slack：https://join.slack.com/t/fedml/shared_invite/zt-havwx1ee-a1xfOUrATNfc9DFqU~r34w
Discord：https://discord.gg/9xkW8ae6RV

TensorOpera® AI（https://TensorOpera.ai）是面向大语言模型与生成式 AI 的下一代云服务。它帮助开发者在去中心化的 GPU 集群、多云环境、边缘服务器以及智能手机上，轻松、经济、安全地启动复杂模型的训练、部署及联邦学习任务。

TensorOpera AI 与 TensorOpera 开源库高度集成，为三个相互关联的 AI 基础设施层提供全方位支持：用户友好的 MLOps 平台、高效管理的调度器，以及高性能的机器学习库，可跨 GPU 云平台运行各类 AI 任务。

典型的工作流程如上图所示。当开发者希望在 Studio 或 Job Store 中运行预构建的任务时，TensorOpera®Launch 会迅速将 AI 任务匹配到最具成本效益的 GPU 资源，自动完成资源调配并流畅执行任务，从而免去复杂的环境搭建与管理。在任务执行过程中，TensorOpera®Launch 会根据不同的集群拓扑和配置编排计算平面，确保无论模型训练、部署，还是联邦学习等复杂 AI 任务都能顺利开展。TensorOpera®Open Source 是一款统一且可扩展的机器学习库，可用于在任何规模、任何环境中运行这些 AI 任务。

在 TensorOpera AI 的 MLOps 层中：

• TensorOpera® Studio 充分利用生成式 AI 的强大能力！开发者可以访问流行的开源基础模型（如大语言模型），并使用自己的特定数据对其进行无缝微调，随后借助 TensorOpera Launch 的 GPU 市场，以经济高效的方式实现规模化部署。
• TensorOpera® Job Store 维护着一系列用于训练、部署和联邦学习的预构建任务。鼓励开发者直接使用自定义数据集或模型，在更廉价的 GPU 上运行这些任务。

在 TensorOpera AI 的调度层中：

• TensorOpera® Launch 能够快速将 AI 任务匹配到最具性价比的 GPU 资源，自动完成资源调配并顺畅执行任务，从而彻底简化了复杂的环境搭建与管理工作。它支持多种面向生成式 AI 和大语言模型的计算密集型任务，例如大规模训练、无服务器部署以及向量数据库检索等。此外，TensorOpera Launch 还能助力本地集群的管理和私有云或混合云环境下的部署。

在 TensorOpera AI 的计算层中：

• TensorOpera® Deploy 是一个具备高扩展性和低延迟的模型推理服务平台。
• TensorOpera® Train 专注于大型模型和基础模型的分布式训练。
• TensorOpera® Federate 是一个基于最流行的联邦学习开源框架及全球首个 FLOps（联邦学习运维）的联邦学习平台，支持在智能手机端进行设备内训练，以及跨云的 GPU 服务器上的联邦学习。
• TensorOpera® Open Source 则是一款统一且可扩展的机器学习库，适用于在任何规模、任何环境中运行上述各类 AI 任务。

贡献

FedML 秉持并受益于开源精神。我们欢迎来自社区的各种贡献。向所有杰出的贡献者致以诚挚的谢意！
FedML 已采纳 贡献者公约。

FedML 快速上手指南

FedML 是一个统一且可扩展的机器学习库，支持在任何规模的去中心化 GPU、多云、边缘服务器及智能手机上运行训练和部署任务。它与 TensorOpera AI 深度集成，提供从 MLOps、调度器到高性能计算层的全栈支持。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux (Ubuntu/CentOS), macOS, 或 Windows (WSL2 推荐)。
• Python 版本：Python 3.7 - 3.10。
• 前置依赖：
  • pip (包管理工具)
  • git (版本控制工具)
  • (可选) CUDA Toolkit (如需使用 GPU 加速，建议版本 11.0+)

安装步骤

您可以通过 PyPI 直接安装 FedML 核心库。对于国内开发者，推荐使用清华或阿里镜像源以加速下载。

方式一：使用 pip 安装（推荐）

使用国内镜像源加速安装：

pip install fedml -i https://pypi.tuna.tsinghua.edu.cn/simple

或使用官方源安装：

pip install fedml

方式二：从源码安装（适合贡献者或需要最新特性）

git clone https://github.com/fedml-ai/fedml.git
cd fedml
pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple

注意：如果您需要使用特定的功能模块（如联邦学习 federate、分布式训练 train 或模型部署 deploy），可能需要安装额外的依赖包。请参考官方文档获取特定模块的安装命令，例如 pip install fedml[federate]。

基本使用

FedML 的设计旨在简化从本地原型设计到大规模分布式运行的流程。以下是一个最简单的初始化与运行示例。

1. 初始化 FedML 参数

在使用 FedML 运行任何任务前，通常需要初始化配置。这可以通过命令行参数或配置文件完成。以下是一个简单的 Python 脚本示例，展示如何加载 FedML 并打印版本信息：

import fedml

if __name__ == "__main__":
    # 初始化 FedML 环境
    fedml.init()
    
    # 打印当前版本信息
    print(f"FedML Version: {fedml.__version__}")
    
    # 此处可添加具体的训练或推理逻辑
    # 例如：调用 fedml.trainer 或 fedml.federate 模块

2. 运行一个简单的联邦学习任务

假设您想启动一个基础的联邦学习流程，FedML 提供了统一的接口。以下概念性代码展示了如何定义角色并启动任务（具体实现需结合您的模型代码）：

import fedml

def run_federated_learning():
    # 初始化
    fedml.init()
    
    # 获取设备信息
    device_info = fedml.get_device_info()
    print(f"Running on device: {device_info}")
    
    # 模拟启动训练流程
    # 在实际场景中，这里会连接至 TensorOpera Launch 或本地集群
    print("Starting federated training job...")
    
    # 您的模型训练逻辑
    # model.train() 

if __name__ == "__main__":
    run_federated_learning()

3. 通过命令行提交任务 (配合 TensorOpera)

如果您已配置好 TensorOpera 账户，可以使用 CLI 工具将任务提交到云端或边缘节点：

# 登录 TensorOpera (首次使用)
fedml login

# 提交一个预定义的作业
fedml run --job-name my_llm_finetune --gpu-type A100 --num-gpus 4

通过以上步骤，您已完成 FedML 的基础环境搭建并了解了基本的使用模式。更多高级功能（如跨云调度、手机端联邦训练）请参考 TensorOpera 官方文档。