用于多机训练的各种原语的集体通信库。

| Gloo 文档 | PyTorch 分布式文档 | Gloo 简介演示文稿 |

---

Gloo 是一个集体通信库。它包含许多对机器学习应用有用的集体算法，包括屏障、广播和归约等。

参与节点之间的数据传输被抽象化，因此可以始终使用 IP 协议，或者在可用时使用 InfiniBand（或 RoCE）。在后一种情况下，如果使用 InfiniBand 传输，可以利用 GPUDirect 来加速跨机 GPU 到 GPU 的内存传输。

在适用的情况下，算法既有基于系统内存缓冲区的实现，也有基于 NVIDIA GPU 内存缓冲区的实现。在后者情况下，无需在主机和设备之间进行内存拷贝；这些操作由算法实现自动完成。

要求

Gloo 构建于 Linux 上，除了 libstdc++ 外没有其他硬性依赖。不过，通常只有与以下一些可选依赖结合使用时才有用。

可选依赖包括：

• CUDA 和 NCCL -- 用于 CUDA 感知的算法、测试和基准测试
• Google Test -- 用于构建和运行测试
• Hiredis -- 用于通过 Redis 协调节点会合
• MPI -- 用于通过 MPI 协调节点会合

文档

详细文档请参阅 docs/。

构建

您可以使用 CMake 构建 Gloo。

由于它是一个库，最方便的做法是在您自己的项目中将其作为依赖项引入，并将项目根目录添加到您自己的 CMake 配置中。

测试

构建测试需要 Google Test 1.8 或更高版本。在 Ubuntu 上，从 17.10 版本开始就已包含该版本。如果您使用的是较旧的版本，则需要自行安装 Google Test，并设置 GTEST_ROOT CMake 变量。

您可以通过 conda 安装 Google Test，命令如下：

conda install -c anaconda gmock gtest

请注意，您可能需要找到与您的 glibc 兼容的软件包。

要构建测试，请执行以下步骤：

mkdir -p build
cd build
cmake ../ -DBUILD_TEST=1 -DGTEST_ROOT=/some/path (if using custom install)
make
ls -l gloo/test/gloo_test*

要测试 CUDA 算法，还需指定 USE_CUDA=ON，CUDA 测试将在 gloo/test/gloo_test_cuda 中构建。

基准测试

首先安装基准测试工具所需的依赖。在 Ubuntu 上，可以通过以下命令安装：

sudo apt-get install -y libhiredis-dev

然后构建基准测试工具，运行：

mkdir build
cd build
cmake ../ -DBUILD_BENCHMARK=1
make
ls -l gloo/benchmark/benchmark

基准测试

基准测试工具依赖 Redis/Hiredis 进行节点会合。用于 CUDA 算法的基准测试工具显然也依赖 CUDA 和 NCCL。

要运行基准测试：

1. 将基准测试工具复制到所有参与的机器上。

2. 在任意一台主机上启动 Redis 服务器（可以是客户端机器，也可以是参与测试的机器之一）。请注意，Redis Cluster 不受支持。

3. 为本次基准测试确定一个唯一的 ID（例如使用 uuid 工具或某个数字）。

4. 在每台机器上运行（或输入 --help 查看更多选项）：

   ./benchmark \
     --size <机器数量> \
     --rank <本机索引，从 0 开始> \
     --redis-host <Redis 主机> \
     --redis-port <Redis 端口> \
     --prefix <本次运行的唯一标识符> \
     --transport tcp \
     --elements <元素数量；-1 表示扫描> \
     --iteration-time 1s \
     allreduce_ring_chunked
   

示例输出（在 4 台机器上运行，网络速率为 40GbE）：

   elements   min (us)   p50 (us)   p99 (us)   max (us)    samples
          1        195        263        342        437       3921
          2        195        261        346        462       4039
          5        197        261        339        402       3963
         10        197        263        338        398       3749
         20        199        268        343        395       4146
         50        200        265        344        401       3889
        100        205        265        351        414       3645
        200        197        264        328        387       3960
        500        201        264        329        394       4274
       1000        200        267        330        380       3344
       2000        205        263        323        395       3682
       5000        240        335        424        460       3277
      10000        271        346        402        457       2721
      20000        283        358        392        428       2719
      50000        342        438        495        649       1654
     100000        413        487        669        799       1687
     200000       1113       1450       1837       2801        669
     500000       1099       1294       1665       1959        560
    1000000       1858       2286       2779       6100        320
    2000000       3546       3993       4364       4886        252
    5000000      10030      10608      11106      11628         92

许可证

Gloo 采用 BSD 许可证。

Gloo 快速上手指南

Gloo 是一个用于多机训练的集合通信库，提供了屏障（barrier）、广播（broadcast）和全归约（allreduce）等多种算法。它支持 TCP/IP 网络，并在可用时自动利用 InfiniBand (RoCE) 和 GPUDirect 加速 GPU 间通信。

环境准备

系统要求

• 操作系统: Linux (官方主要支持环境)
• 核心依赖: libstdc++ (通常随 GCC 安装)

可选依赖

根据您的需求选择安装以下依赖：

• CUDA & NCCL: 如需运行 CUDA 感知算法、测试或基准测试。
• Google Test: 如需构建和运行单元测试。
• Hiredis: 如需通过 Redis 协调多机集合（基准测试必需）。
• MPI: 如需通过 MPI 协调多机集合。

提示: 国内开发者可使用清华或阿里镜像源加速 apt 或 conda 包的安装。

安装步骤

Gloo 通常作为子模块嵌入到您的项目中，也可独立编译。以下是使用 CMake 进行构建的步骤。

1. 克隆代码

git clone https://github.com/facebookincubator/gloo.git
cd gloo

2. 安装测试依赖 (可选)

如果您需要构建测试套件，需安装 Google Test (版本 1.8+)。 使用 Conda 安装 (推荐):

conda install -c anaconda gmock gtest

或使用 Ubuntu apt 安装:

sudo apt-get update
sudo apt-get install libgtest-dev

3. 编译构建

创建构建目录并配置 CMake。

基础编译:

mkdir -p build
cd build
cmake ../ 
make

启用测试编译:

cmake ../ -DBUILD_TEST=1
# 如果 GTest 安装在非标准路径，需指定: -DGTEST_ROOT=/your/path/to/gtest
make

启用 CUDA 支持 (需已安装 CUDA 和 NCCL):

cmake ../ -DUSE_CUDA=ON -DBUILD_TEST=1
make

启用基准测试工具 (需安装 hiredis):

# Ubuntu 安装依赖
sudo apt-get install -y libhiredis-dev

# 重新配置并编译
cmake ../ -DBUILD_BENCHMARK=1
make

基本使用

Gloo 主要作为底层库被 PyTorch 等框架调用，但您也可以直接运行其自带的基准测试工具来验证多机通信性能。

运行基准测试示例

以下示例展示如何在 4 台机器上运行 allreduce_ring_chunked 算法测试。

前置条件:

1. 将编译好的 benchmark 工具复制到所有参与测试的机器。
2. 在任意一台机器上启动 Redis 服务器 (不支持 Redis Cluster)。
3. 确定一个唯一的运行 ID (例如使用 uuidgen 生成)。

执行命令: 在每台机器上运行以下命令（注意修改 <rank> 和 <redis-host>）：

./benchmark \
  --size 4 \
  --rank <index_of_this_machine_0_to_3> \
  --redis-host <Redis_Server_IP> \
  --redis-port 6379 \
  --prefix <unique_run_id> \
  --transport tcp \
  --elements -1 \
  --iteration-time 1s \
  allreduce_ring_chunked

参数说明:

• --size: 参与训练的机器总数。
• --rank: 当前机器的索引（从 0 开始）。
• --elements: 测试元素数量，-1 表示自动扫描不同大小。
• --transport: 传输后端，可选 tcp 或 ib (InfiniBand)。

运行成功后，终端将输出不同数据量下的延迟统计（min, p50, p99, max）。