GPUtil

GPUtil 是一个 Python 模块，用于通过 nvidia-smi 获取 NVIDIA 显卡的状态。 GPUtil 会查找计算机上的所有 GPU，确定它们的可用性，并返回一个按顺序排列的可用 GPU 列表。 可用性的判断依据是每块 GPU 当前的显存使用量和负载情况。 该模块在设计时主要考虑了深度学习中的 GPU 选择需求，但它并不局限于特定的任务或库，可以应用于任何需要识别可用 GPU 的场景。

目录

1. 要求
2. 安装
3. 用法
   1. 主要函数
   2. 辅助函数
4. 示例
   1. 在 Caffe 中选择第一个可用的 GPU
   2. 在 TensorFlow 中只占用 1 块 GPU
   3. 在单独的线程中监控 GPU
5. 许可证

要求

配备最新 NVIDIA 驱动程序的 NVIDIA 显卡。 GPUtil 使用 nvidia-smi 程序来获取所有可用 NVIDIA 显卡的状态。安装 NVIDIA 驱动程序时，通常会自动安装 nvidia-smi。

支持 Python 2.X 和 3.X。

Python 库：

• subprocess（Python 标准库）
• distutils（Python 标准库）
• math（Python 标准库）
• random（Python 标准库）
• time（Python 标准库）
• os（Python 标准库）
• sys（Python 标准库）
• platform（Python 标准库）

已在 CUDA 驱动版本 390.77、Python 2.7 和 3.5 上进行测试。

安装

1. 打开终端（Ctrl+Shift+T）
2. 输入 pip install gputil
3. 测试安装
   1. 在 GPUtil 文件夹之外的其他文件夹中打开终端
   2. 在终端中输入 python 启动 Python 控制台
   3. 在新打开的 Python 控制台中输入：

      import GPUtil
      GPUtil.showUtilization()
      

   4. 输出应类似于以下内容，具体取决于您的 GPU 数量及其当前使用情况：

       ID  GPU  MEM
      --------------
        0    0%   0%
      

旧版安装方法

1. 下载或克隆仓库到您的计算机
2. 将 GPUtil 文件夹添加到 ~/.bashrc
   1. 打开一个新的终端（按 Ctrl+Alt+T）
   2. 打开 bashrc：

      gedit ~/.bashrc
      

   3. 将您的 GPUtil 文件夹添加到环境变量 PYTHONPATH 中（将 <path_to_gputil> 替换为您文件夹的实际路径）：

      export PYTHONPATH="$PYTHONPATH:<path_to_gputil>"
      
      示例：
      export PYTHONPATH="$PYTHONPATH:/home/anderskm/github/gputil"
      

   4. 保存 ~/.bashrc 并关闭 gedit
   5. 重启终端
3. 测试安装
   1. 在 GPUtil 文件夹之外的其他文件夹中打开终端
   2. 在终端中输入 python 启动 Python 控制台
   3. 在新打开的 Python 控制台中输入：

      import GPUtil
      GPUtil.showUtilization()
      

   4. 输出应类似于以下内容，具体取决于您的 GPU 数量及其当前使用情况：

       ID  GPU  MEM
      --------------
        0    0%   0%
      

用法

要在您的 Python 代码中使用 GPUtil，只需在脚本开头导入即可：

import GPUtil

导入后，所有函数即可使用。各函数及其简要说明（包括输入、输出和功能）可在以下两个部分中找到。

主要功能

deviceIDs = GPUtil.getAvailable(order = 'first', limit = 1, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])

返回可用GPU的ID列表。可用性根据当前的显存使用率和负载来判断。返回的顺序、设备的最大数量、最大负载以及最大显存占用均由输入参数决定。

• 输入
  • order - 决定返回可用GPU设备ID的顺序。order应指定为以下字符串之一：
    • 'first' - 按照GPU ID升序排列（默认）
    • 'last' - 按照GPU ID降序排列
    • 'random' - 随机排列可用GPU设备ID
    • 'load' - 按照GPU负载升序排列
    • 'memory' - 按照GPU显存使用率升序排列
  • limit - 限制返回的GPU设备ID数量为指定值。必须是正整数。（默认 = 1）
  • maxLoad - GPU被认为可用时允许的最大相对负载。负载大于maxLoad的GPU不会被返回。（默认 = 0.5）
  • maxMemory - GPU被认为可用时允许的最大相对显存使用率。显存使用率大于maxMemory的GPU不会被返回。（默认 = 0.5）
  • includeNan - 布尔标志，指示是否包含负载或显存使用率为NaN的GPU（表示无法获取使用情况）。（默认 = False）
  • excludeID - 需要从可用GPU列表中排除的ID列表。参见GPU类的描述。（默认 = []）
  • excludeUUID - 与excludeID相同，但使用UUID进行排除。（默认 = []）
• 输出
  • deviceIDs - 所有可用GPU设备ID的列表。如果GPU的当前负载和显存使用率分别低于maxLoad和maxMemory，则该GPU被视为可用。列表的排序方式由order决定。返回的设备ID数量最多不超过limit。

deviceID = GPUtil.getFirstAvailable(order = 'first', maxLoad=0.5, maxMemory=0.5, attempts=1, interval=900, verbose=False)

返回第一个可用的GPU。可用性根据当前的显存使用率和负载来判断，排序方式由指定的顺序决定。 如果未找到可用GPU，则会抛出错误。 使用默认值时，其效果等同于getAvailable(order = 'first', limit = 1, maxLoad = 0.5, maxMemory = 0.5)。

• 输入
  • order - 参见GPUtil.getAvailable(...)的描述
  • maxLoad - GPU被认为可用时允许的最大相对负载。负载大于maxLoad的GPU不会被返回。（默认 = 0.5）
  • maxMemory - GPU被认为可用时允许的最大相对显存使用率。显存使用率大于maxMemory的GPU不会被返回。（默认 = 0.5）
  • attempts - 函数在放弃寻找可用GPU之前应尝试的次数。（默认 = 1）
  • interval - 每次尝试寻找可用GPU之间的时间间隔，单位为秒。（默认 = 900 --> 15分钟）
  • verbose - 如果为True，则会在每次尝试前打印尝试次数，并在找到可用GPU时打印其ID。
  • includeNan - 参见GPUtil.getAvailable(...)的描述。（默认 = False）
  • excludeID - 参见GPUtil.getAvailable(...)的描述。（默认 = []）
  • excludeUUID - 参见GPUtil.getAvailable(...)的描述。（默认 = []）
• 输出
  • deviceID - 包含第一个可用GPU设备ID的单元素列表。如果GPU的当前负载和显存使用率分别低于maxLoad和maxMemory，则该GPU被视为可用。排序方式固定为'first'，返回数量固定为1。

GPUtil.showUtilization(all=False, attrList=None, useOldCode=False)

打印所有GPU的当前状态（ID、显存使用率、UUID、负载）。

• 输入
  • all - 布尔标志，指示是否显示所有GPU的信息。此参数会覆盖attrList。
  • attrList - 需要显示的GPU属性列表。更多信息和示例请参见代码。
  • useOldCode - 布尔标志，指示是否使用旧代码来显示GPU利用率。
• 输出
  • 无

辅助函数

 class GPU

辅助类用于处理每个GPU的属性。引用的描述直接摘自nvidia-smi的相关说明。

• 每个GPU的属性
  • id - “GPU的零索引编号。每次启动时可能会发生变化。”
  • uuid - “该值是GPU的全局唯一且不可变的字母数字标识符。它不对应于显卡上的任何物理标签，并且在重启后也不会改变。”
  • load - GPU相对负载，范围为0到1（100%，满负载）。“在过去采样周期内，GPU上有一个或多个内核正在执行的时间百分比。采样周期可能根据产品不同介于1秒到1/6秒之间。”
  • memoryUtil - 相对显存使用率，范围为0到1（100%，满使用）。“在过去采样周期内，全局（设备）内存被读取或写入的时间百分比。采样周期可能根据产品不同介于1秒到1/6秒之间。”
  • memoryTotal - “已安装的GPU总显存容量。”
  • memoryUsed - “由当前活动上下文分配的GPU总显存用量。”
  • memoryFree - “可用的GPU总显存量。”
  • driver - “已安装的NVIDIA显卡驱动程序版本。”
  • name - “GPU的官方产品名称。”
  • serial - 该序列号与每块显卡上物理打印的序列号一致，是一个全局唯一且不可变的字母数字值。
  • display_mode - “一个标志位，指示当前是否有物理显示器（如显示器）连接到GPU的任一接口。‘启用’表示已连接显示器；‘禁用’则表示未连接。”
  • display_active - “一个标志位，指示GPU上是否已初始化显示功能（例如，设备上已为显示分配内存）。即使没有物理显示器连接，显示也可能处于激活状态。‘启用’表示显示已激活；‘禁用’则表示未激活。”

GPUs = GPUtil.getGPUs()

• 输入
  • 无
• 输出
  • GPUs - 所有GPU的列表。每个GPU对应计算机中的一块GPU，包含设备ID、相对负载和相对显存使用率。

GPUavailability = GPUtil.getAvailability(GPUs, maxLoad = 0.5, maxMemory = 0.5, includeNan=False, excludeID=[], excludeUUID=[])

给定一个GPUs列表（参见GPUtil.getGPUs()），返回一个等长的由1和0组成的列表，指示对应的GPU是否可用。

• 输入
  • GPUs - GPUs列表。参见GPUtil.getGPUs()
  • maxLoad - 被视为可用的GPU的最大当前相对负载。负载大于maxLoad的GPU将不会被返回。（默认值：0.5）
  • maxMemory - 被视为可用的GPU的最大当前相对显存使用量。显存使用量大于maxMemory的GPU将不会被返回。（默认值：0.5）
  • includeNan - 参见GPUtil.getAvailable(...)的说明。（默认值：False）
  • excludeID - 参见GPUtil.getAvailable(...)的说明。（默认值：[]）
  • excludeUUID - 参见GPUtil.getAvailable(...)的说明。（默认值：[]）
• 输出
  • GPUavailability - 二进制列表，指示GPUs是否可用。如果当前负载和显存使用量分别低于maxLoad和maxMemory，则认为该GPU可用。

更多示例和详细信息，请参阅demo_GPUtil.py。

示例

在Caffe中选择第一个可用的GPU

在深度学习库Caffe中，用户可以通过其Python接口在CPU和GPU之间切换。 这可以通过调用caffe.set_mode_cpu()和caffe.set_mode_gpu()方法来实现。 以下是使用GPUtil选择第一个可用的GPU运行Caffe网络的最小可运行示例。

# 导入caffe和GPUtil
import caffe
import GPUtil

# 设置CUDA_DEVICE_ORDER，使CUDA分配的ID与nvidia-smi中的ID一致
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"

# 获取第一个可用的GPU
DEVICE_ID_LIST = GPUtil.getFirstAvailable()
DEVICE_ID = DEVICE_ID_LIST[0] # 取列表中的第一个元素

# 选择GPU模式
caffe.set_mode_gpu()
# 选择GPU编号
caffe.set_device(DEVICE_ID)

# 在此处初始化您的网络

注意： 截至本文编写时，Caffe的Python封装仅支持1个GPU，尽管底层代码支持多GPU。而通过终端直接调用Caffe，则可以使用多个GPU。

在TensorFlow中只占用1个GPU

默认情况下，TensorFlow在使用GPU作为设备时（例如tf.device('\gpu:0')），会占用所有可用的GPU。 通过设置环境变量CUDA_VISIBLE_DEVICES，用户可以屏蔽哪些GPU对TensorFlow可见（参见CUDA_VISIBLE_DEVICES - 屏蔽GPU）。利用GPUtil.py，可以根据可用的GPU以编程方式设置CUDA_VISIBLE_DEVICES。 以下是使用GPUtil在TensorFlow中只占用1个GPU的最小可运行示例。 要运行此代码，将其复制到一个新的Python文件中（例如demo_tensorflow_gputil.py），然后在终端中运行（例如输入python demo_tensorflow_gputil.py）。

注意： 即使您将代码运行的设备设置为CPU，TensorFlow仍会占用所有可用的GPU。为了避免这种情况，您可以将所有GPU从TensorFlow中隐藏，方法是设置os.environ["CUDA_VISIBLE_DEVICES"] = ''。

# 导入os以设置环境变量CUDA_VISIBLE_DEVICES
import os
import tensorflow as tf
import GPUtil

# 设置CUDA_DEVICE_ORDER，使CUDA分配的ID与nvidia-smi中的ID一致
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"

# 获取第一个可用的GPU
DEVICE_ID_LIST = GPUtil.getFirstAvailable()
DEVICE_ID = DEVICE_ID_LIST[0] # 取列表中的第一个元素

# 设置CUDA_VISIBLE_DEVICES，屏蔽除第一个可用设备ID之外的所有其他GPU
os.environ["CUDA_VISIBLE_DEVICES"] = str(DEVICE_ID)

# 由于其他所有GPU已被屏蔽，第一个可用的GPU现在将被识别为GPU:0
device = '/gpu:0'
print('设备ID（未屏蔽）：' + str(DEVICE_ID))
print('设备ID（屏蔽后）：' + str(0))

# 在选定的GPU上运行一个最小可运行示例

# 开始会话
with tf.Session() as sess:
    # 选择设备
    with tf.device(device):
        # 声明两个数字并在 TensorFlow 中将它们相加
        a = tf.constant(12)
        b = tf.constant(30)
        result = sess.run(a+b)
        print('a+b=' + str(result))

您的输出应该类似于下面的代码块。请注意，只有一块 GPU 被识别并作为 TensorFlow 设备创建。

I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcublas.so
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcudnn.so
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcufft.so
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcuda.so.1
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcurand.so
设备：/gpu:0
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] 找到设备 0，其属性如下：
名称：TITAN X (Pascal)
主要版本：6 次要版本：1 内存时钟频率 (GHz) 1.531
PCI 总线 ID 0000:02:00.0
总内存：11.90GiB
空闲内存：11.76GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA：0 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0：   Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:0) -> (设备：0，名称：TITAN X (Pascal)，PCI 总线 ID：0000:02:00.0)
a+b=42

注释掉 os.environ["CUDA_VISIBLE_DEVICES"] = str(DEVICE_ID) 这一行，并比较两种输出。 根据您拥有的 GPU 数量，您的输出应类似于下面的代码块。 请注意，当未设置 CUDA_VISIBLE_DEVICES 时，所有 4 块 GPU 都被识别并作为 TensorFlow 设备创建；而当设置了 CUDA_VISIBLE_DEVICES 时，仅有一块 GPU 被识别和创建。

I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcublas.so
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcudnn.so
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcufft.so
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcuda.so.1
I tensorflow/stream_executor/dso_loader.cc:128] 成功在本地打开 CUDA 库 libcurand.so
设备：/gpu:0
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] 找到设备 0，其属性如下：
名称：TITAN X (Pascal)
主要版本：6 次要版本：1 内存时钟频率 (GHz) 1.531
PCI 总线 ID 0000:02:00.0
总内存：11.90GiB
空闲内存：11.76GiB
W tensorflow/stream_executor/cuda/cuda_driver.cc:590] 在当前已有上下文的情况下创建新上下文；现有上下文：0x2c8e400
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] 找到设备 1，其属性如下：
名称：TITAN X (Pascal)
主要版本：6 次要版本：1 内存时钟频率 (GHz) 1.531
PCI 总线 ID 0000:03:00.0
总内存：11.90GiB
空闲内存：11.76GiB
W tensorflow/stream_executor/cuda/cuda_driver.cc:590] 在当前已有上下文的情况下创建新上下文；现有上下文：0x2c92040
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] 找到设备 2，其属性如下：
名称：TITAN X (Pascal)
主要版本：6 次要版本：1 内存时钟频率 (GHz) 1.531
PCI 总线 ID 0000:83:00.0
总内存：11.90GiB
空闲内存：11.76GiB
W tensorflow/stream_executor/cuda/cuda_driver.cc:590] 在当前已有上下文的情况下创建新上下文；现有上下文：0x2c95d90
I tensorflow/core/common_runtime/gpu/gpu_device.cc:885] 找到设备 3，其属性如下：
名称：TITAN X (Pascal)
主要版本：6 次要版本：1 内存时钟频率 (GHz) 1.531
PCI 总线 ID 0000:84:00.0
总内存：11.90GiB
空闲内存：11.76GiB
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 0 和 2 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 0 和 3 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 1 和 2 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 1 和 3 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 2 和 0 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 2 和 1 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 3 和 0 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:777] 设备序号 3 和 1 之间不支持对等访问
I tensorflow/core/common_runtime/gpu/gpu_device.cc:906] DMA：0 1 2 3 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 0：   Y Y N N 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 1：   Y Y N N 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 2：   N N Y Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:916] 3：   N N Y Y 
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:0) -> (设备：0，名称：TITAN X (Pascal)，PCI 总线 ID：0000:02:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:1) -> (设备：1，名称：TITAN X (Pascal)，PCI 总线 ID：0000:03:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:2) -> (设备：2，名称：TITAN X (Pascal)，PCI 总线 ID：0000:83:00.0)
I tensorflow/core/common_runtime/gpu/gpu_device.cc:975] 创建 TensorFlow 设备 (/gpu:3) -> (设备：3，名称：TITAN X (Pascal)，PCI 总线 ID：0000:84:00.0)
a+b=42

在单独的线程中监控 GPU

如果在训练过程中使用 GPUtil 监控 GPU，可能会显示 0% 的利用率。解决方法是使用一个单独的监控线程。

import GPUtil
from threading import Thread, Event
import time

class Monitor(Thread):
    def __init__(self, delay):
        super(Monitor, self).__init__()
        self.stopped = Event()
        self.delay = delay # 调用 GPUtil 的时间间隔
        self.start()

    def run(self):
        while not self.stopped.is_set():
            GPUtil.showUtilization()
            time.sleep(self.delay)

    def stop(self):
        self.stopped.set()
        
# 实例化监控器，每次更新间隔 10 秒
monitor = Monitor(10)

# 训练等操作

# 关闭监控器
monitor.stop()

许可证

请参阅 LICENSE

GPUtil 快速上手指南

GPUtil 是一个用于获取 NVIDIA GPU 状态的 Python 模块。它通过调用 nvidia-smi 来定位所有 GPU，并根据当前的显存占用和负载情况，返回可用 GPU 的有序列表。该工具特别适用于深度学习任务中的 GPU 自动选择。

环境准备

在使用 GPUtil 之前，请确保满足以下系统要求：

• 硬件：必须拥有 NVIDIA GPU。
• 驱动：已安装最新的 NVIDIA 驱动程序（nvidia-smi 命令需可用）。
• Python 版本：支持 Python 2.x 和 3.x。
• 依赖库：仅需 Python 标准库（如 subprocess, os, sys 等），无需额外安装第三方依赖。

安装步骤

推荐使用 pip 进行安装。国内开发者建议使用清华或阿里镜像源以加速下载。

方法一：使用 pip 安装（推荐）

在终端中执行以下命令：

# 使用默认源
pip install gputil

# 或使用国内镜像源（推荐）
pip install gputil -i https://pypi.tuna.tsinghua.edu.cn/simple

方法二：验证安装

安装完成后，打开终端进入任意非项目目录，启动 Python 控制台并运行以下代码进行测试：

import GPUtil
GPUtil.showUtilization()

如果安装成功，你将看到类似以下的输出（显示 GPU ID、负载和显存占用）：

 ID  GPU  MEM
--------------
  0    0%   0%

基本使用

在 Python 脚本中引入模块后，即可调用相关函数。最常用的功能是获取当前可用的 GPU ID。

1. 获取第一个可用 GPU

这是最简单的用法，返回负载和显存占用均低于默认阈值（50%）的第一个 GPU ID。

import GPUtil

# 获取第一个可用 GPU 的 ID
deviceID = GPUtil.getFirstAvailable()

print(f"选中的 GPU ID: {deviceID}")

2. 自定义筛选条件

你可以根据负载 (maxLoad) 和显存 (maxMemory) 阈值，以及排序方式 (order) 来获取可用 GPU 列表。

import GPUtil

# 获取所有负载 < 0.5 且显存占用 < 0.5 的 GPU
# order='load' 表示按负载从低到高排序
# limit=2 表示最多返回 2 个结果
available_gpus = GPUtil.getAvailable(
    order='load', 
    limit=2, 
    maxLoad=0.5, 
    maxMemory=0.5
)

print(f"可用 GPU 列表: {available_gpus}")

3. 查看 GPU 详细状态

打印当前所有 GPU 的详细使用情况。

import GPUtil

# 打印所有 GPU 的状态
GPUtil.showUtilization()

4. 在深度学习框架中使用示例

获取可用 GPU 后，通常将其设置为环境变量，以便 TensorFlow 或 PyTorch 使用。

import os
import GPUtil

# 获取第一个可用 GPU
first_gpu = GPUtil.getFirstAvailable()

# 设置环境变量，限制程序只使用该 GPU
os.environ["CUDA_VISIBLE_DEVICES"] = str(first_gpu)

# 接下来导入 tensorflow 或 torch 即可自动绑定到指定 GPU
# import tensorflow as tf