dm_control: 基于物理模拟的 Google DeepMind 基础设施。

Google DeepMind 用于基于物理的仿真和强化学习环境的软件栈，采用 MuJoCo 物理引擎。

该包的入门教程以 Colaboratory 笔记本形式提供：

概述

本包由以下“核心”组件组成：

• dm_control.mujoco: 提供 Python 绑定到 MuJoCo 物理引擎的库。

• dm_control.suite: 一组由 MuJoCo 物理引擎驱动的 Python 强化学习环境。

此外，还提供了以下组件，用于创建更复杂的控制任务：

• dm_control.mjcf: 一个用于在 Python 中组合和修改 MuJoCo MJCF 模型的库。

• dm_control.composer: 一个用于从可重用、自包含的组件中定义丰富 RL 环境的库。

如果您使用本包，请引用我们的配套论文：

@article{tunyasuvunakool2020,
         title = {dm_control: Software and tasks for continuous control},
         journal = {Software Impacts},
         volume = {6},
         pages = {100022},
         year = {2020},
         issn = {2665-9638},
         doi = {https://doi.org/10.1016/j.simpa.2020.100022},
         url = {https://www.sciencedirect.com/science/article/pii/S2665963820300099},
         author = {Saran Tunyasuvunakool and Alistair Muldal and Yotam Doron and
                   Siqi Liu and Steven Bohez and Josh Merel and Tom Erez and
                   Timothy Lillicrap and Nicolas Heess and Yuval Tassa},
}

安装

通过运行以下命令从 PyPI 安装 dm_control：

pip install dm_control

注意：dm_control 不能以“可编辑”模式安装（即 pip install -e）。

虽然 dm_control 已经大部分更新为使用通过 mujoco 包提供的基于 pybind11 的绑定，但目前它仍然依赖于一些从 MuJoCo 头文件自动生成的旧版组件，这些组件与可编辑模式不兼容。尝试以可编辑模式安装 dm_control 将导致类似以下的导入错误：

ImportError: cannot import name 'constants' from partially initialized module 'dm_control.mujoco.wrapper.mjbindings' ...

解决方法是先卸载 dm_control，然后不带 -e 标志重新安装。

版本管理

自 1.0.0 版本起，我们采用语义版本控制。

在 1.0.0 版本之前，dm_control Python 包的版本号为 0.0.N，其中 N 是一个内部修订号，在每次 Git 提交时都会任意递增。

如果您想直接从我们的仓库安装尚未发布的 dm_control 版本，可以运行 pip install git+https://github.com/google-deepmind/dm_control.git。

渲染

MuJoCo 的 Python 绑定支持三种不同的 OpenGL 渲染后端：EGL（无头、硬件加速）、GLFW（窗口化、硬件加速）和 OSMesa（纯软件）。必须至少有一个后端可用，才能通过 dm_control 进行渲染。

• 使用窗口系统的硬件渲染由 GLFW 和 GLEW 支持。在 Linux 上，可以通过发行版的包管理器安装它们。例如，在 Debian 和 Ubuntu 上，可以运行 sudo apt-get install libglfw3 libglew2.0。请注意：

  • dm_control.viewer 只能与 GLFW 一起使用。
  • GLFW 在无头机器上无法工作。

• “无头”硬件渲染（即没有 X11 等窗口系统）需要 EGL 驱动程序支持 EXT_platform_device 扩展。最近的 Nvidia 驱动程序支持此功能。您还需要 GLEW。在 Debian 和 Ubuntu 上，可以通过 sudo apt-get install libglew2.0 安装。

• 软件渲染需要 GLX 和 OSMesa。在 Debian 和 Ubuntu 上，可以通过 sudo apt-get install libgl1-mesa-glx libosmesa6 安装。

默认情况下，dm_control 会优先尝试使用 GLFW，然后是 EGL，最后是 OSMesa。您也可以通过将 MUJOCO_GL= 环境变量分别设置为 "glfw"、"egl" 或 "osmesa" 来指定要使用的特定后端。使用 EGL 渲染时，还可以通过设置环境变量 MUJOCO_EGL_DEVICE_ID= 来指定要使用的 GPU ID。

macOS 上 Homebrew 用户的补充说明

1. 上述使用 pip 的说明应有效，前提是您使用的是由 Homebrew 安装的 Python 解释器（而非系统默认的解释器）。

2. 在运行之前，需要将 DYLD_LIBRARY_PATH 环境变量更新为 GLFW 库的路径。这可以通过运行 export DYLD_LIBRARY_PATH=$(brew --prefix)/lib:$DYLD_LIBRARY_PATH 来完成。

dm_control 快速上手指南

dm_control 是 Google DeepMind 提供的基于 MuJoCo 物理引擎的仿真软件栈，主要用于强化学习环境构建和连续控制任务。

环境准备

系统要求与依赖

dm_control 支持 Linux、macOS 和 Windows。渲染功能依赖 OpenGL 后端，至少需要安装以下三者之一：

1. GLFW（窗口化，硬件加速）：适用于本地开发调试。
2. EGL（无头模式，硬件加速）：适用于服务器或无显示环境。
3. OSMesa（纯软件渲染）：适用于无 GPU 环境。

Linux (Debian/Ubuntu) 前置依赖安装

根据选择的渲染后端，运行以下命令安装系统库：

• 使用 GLFW (推荐本地开发):

  sudo apt-get install libglfw3 libglew2.0
  

• 使用 EGL (无头硬件加速):

  sudo apt-get install libglew2.0
  

  注意：需要 NVIDIA 驱动支持 EXT_platform_device。
• 使用 OSMesa (软件渲染):

  sudo apt-get install libgl1-mesa-glx libosmesa6
  

macOS 用户额外配置

如果使用 Homebrew 安装的 Python，需设置环境变量以指向 GLFW 库路径：

export DYLD_LIBRARY_PATH=$(brew --prefix)/lib:$DYLD_LIBRARY_PATH

安装步骤

通过 PyPI 直接安装 dm_control。

pip install dm_control

重要提示：不支持以“可编辑模式”安装（即不要使用 pip install -e .）。由于部分遗留组件的生成方式限制，使用 -e 标志会导致导入错误。如需从源码安装最新未发布版本，请使用：

pip install git+https://github.com/google-deepmind/dm_control.git

基本使用

1. 快速体验教程

官方提供了 Colab 笔记本教程，适合初学者快速了解核心功能： 在 Colab 中打开教程

2. 代码示例

以下是一个加载标准强化学习环境并运行一步仿真的最小示例：

from dm_control import suite
import numpy as np

# 加载一个标准的强化学习环境 (例如: Cartpole 平衡任务)
env = suite.load(domain_name="cartpole", task_name="balance")

# 获取初始观测
timestep = env.reset()

# 执行一个随机动作
action = np.random.uniform(-1, 1, env.action_spec().shape)
timestep = env.step(action)

# 输出观测信息
print("Observation:", timestep.observation)
print("Reward:", timestep.reward)
print("Discount:", timestep.discount)

3. 使用交互式查看器

dm_control 内置了一个交互式查看器，可用于可视化仿真过程（需 GLFW 支持）：

from dm_control import viewer
from dm_control import suite

# 定义一个简单的策略函数（此处为随机策略）
def policy(timestep):
    return np.random.uniform(-1, 1, size=env.action_spec().shape)

# 加载环境
env = suite.load(domain_name="humanoid", task_name="stand")

# 启动查看器
viewer.launch(env, policy=policy)

4. 指定渲染后端

默认情况下，dm_control 会依次尝试 GLFW -> EGL -> OSMesa。你可以通过设置环境变量强制指定后端：

# 强制使用 EGL (适用于无头服务器)
export MUJOCO_GL=egl

# 强制使用 GLFW
export MUJOCO_GL=glfw

# 强制使用 OSMesa
export MUJOCO_GL=osmesa

若使用 EGL 且有多块 GPU，可通过 MUJOCO_EGL_DEVICE_ID 指定使用的 GPU ID。