Humanoid-Gym：用于人形机器人的零样本仿真到现实迁移强化学习框架

项目主页 | arXiv | Twitter

Xinyang Gu*, Yen-Jen Wang*, Jianyu Chen†

*：同等贡献。项目联合负责人，†：通讯作者。

Humanoid-Gym 是一个基于 Nvidia Isaac Gym 的易用强化学习（Reinforcement Learning，RL）框架，专为训练人形机器人运动技能而设计，强调从仿真到现实环境的零样本迁移。Humanoid-Gym 还集成了从 Isaac Gym 到 Mujoco 的仿真到仿真（sim-to-sim）框架，允许用户在不同的物理仿真环境中验证训练好的策略，以确保策略的鲁棒性和泛化能力。

该代码库已通过 RobotEra 的 XBot-S（1.2米高的人形机器人）和 XBot-L（1.65米高的人形机器人）在真实环境中进行验证，实现了零样本仿真到现实迁移。

特性

1. 人形机器人训练

本仓库提供人形机器人训练的全面指导和脚本。Humanoid-Gym 专门为人形机器人设计了奖励函数，简化了仿真到现实迁移的难度。在本仓库中，我们以 RobotEra 的 XBot-L 为主要示例。只需少量调整，也可用于其他机器人。我们的资源涵盖设置、配置和执行。我们的目标是通过深入的训练和优化，为机器人投入真实世界的运动任务做好充分准备。

• 全面的训练指南：我们为训练的每个阶段提供详细的操作指南。
• 逐步配置说明：我们的指导清晰简洁，确保高效的设置过程。
• 便于部署的执行脚本：利用我们预先准备好的脚本简化训练工作流程。

2. 仿真到仿真支持

我们还分享了仿真到仿真（sim2sim）管道，允许您将训练好的策略转移到高度精确且精心设计的仿真环境中。获得机器人后，您可以自信地在真实环境中部署强化学习训练的策略。

我们的仿真器设置，特别是 Mujoco，经过精细调整以密切模拟真实场景。这种精心的校准确保了仿真环境和真实环境中的性能紧密对齐。这一改进使我们的仿真更加可信，并增强了对其在真实世界适用性的信心。

3. 去噪世界模型学习

机器人学：科学与系统（RSS），2024（最佳论文奖入围）

论文 | Twitter

Xinyang Gu*, Yen-Jen Wang*, Xiang Zhu*, Chengming Shi*, Yanjiang Guo, Yichen Liu, Jianyu Chen†

*：同等贡献。项目联合负责人，†：通讯作者。

去噪世界模型学习（Denoising World Model Learning，DWL）是一个先进的仿真到现实框架，集成了状态估计和系统识别。这种双重方法确保了机器人在真实环境中的学习和适应既实用又有效。

• 增强的仿真到现实适应性：优化机器人从仿真环境过渡到真实环境的技术。
• 改进的状态估计能力：用于精确可靠状态分析的高级工具。

人形机器人感知运动学习（即将推出！）

Twitter

灵巧手操作（即将推出！）

Twitter

安装

1. 使用 conda create -n myenv python=3.8 创建一个 Python 3.8 的新 Python 虚拟环境。
2. 为获得最佳性能，我们建议使用 NVIDIA 驱动版本 525 sudo apt install nvidia-driver-525。支持的最低驱动版本为 515。如果您无法安装版本 525，请确保您的系统至少具有版本 515 以保持基本功能。
3. 安装 PyTorch 1.13 和 Cuda-11.7：
   • conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia
4. 使用 conda install numpy=1.23 安装 numpy-1.23。
5. 安装 Isaac Gym：
   • 从 https://developer.nvidia.com/isaac-gym 下载并安装 Isaac Gym Preview 4。
   • cd isaacgym/python && pip install -e .
   • 运行示例 cd examples && python 1080_balls_of_solitude.py。
   • 有关问题排查，请参阅 isaacgym/docs/index.html。
6. 安装 humanoid-gym：
   • 克隆本仓库。
   • cd humanoid-gym && pip install -e .

使用指南

示例

# 在 humanoid-gym/humanoid 目录下
# 启动 4096 个环境下的 'v1' PPO 策略训练
# 此命令启动基于 PPO 算法的类人任务训练。
python scripts/train.py --task=humanoid_ppo --run_name v1 --headless --num_envs 4096

# 评估训练好的 PPO 策略 'v1'
# 此命令加载 'v1' 策略以在其环境中进行性能评估。
# 此外，它还会自动导出一个适合部署的 JIT（Just-In-Time，即时编译）模型。
python scripts/play.py --task=humanoid_ppo --run_name v1

# 实现仿真到仿真模型转换
# 此命令使用导出的 'v1' 策略进行仿真到仿真转换。
# 您必须先运行 play.py 获取 JIT 模型，然后将其与 sim2sim.py 一起使用
python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_1.pt

运行我们训练好的策略

python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_example.pt

#### 1. 默认任务


- **humanoid_ppo**
   - 用途：基线，PPO（Proximal Policy Optimization，近端策略优化）策略，多帧低层级控制
   - 观测空间：可变维度 $(47 \times H)$，其中 $H$ 是帧数
   - $[O_{t-H} ... O_t]$
   - privileged信息：73维度

- **humanoid_dwl（即将推出）**

#### 2. PPO 策略
- **训练命令**：要训练 PPO 策略，请执行：

python humanoid/scripts/train.py --task=humanoid_ppo --load_run log_file_path --name run_name

- **运行训练好的策略**：要部署训练好的 PPO 策略，请使用：

python humanoid/scripts/play.py --task=humanoid_ppo --load_run log_file_path --name run_name

- 默认情况下，会加载实验文件夹中最后一次运行的最新模型。但是，可以通过在训练配置中调整 `load_run` 和 `checkpoint` 来选择其他运行迭代/模型。

#### 3. 仿真到仿真（Sim-to-sim）
- **请注意：在启动 sim-to-sim 流程之前，请确保运行 `play.py` 导出 JIT（即时编译）策略。**
- **基于 Mujoco 的 Sim2Sim 部署**：使用以下命令利用 Mujoco 执行仿真到仿真（sim2sim）部署：

python scripts/sim2sim.py --load_model /path/to/export/model.pt

#### 4. 参数
- **CPU 和 GPU 使用**：要在 CPU 上运行仿真，请同时设置 `--sim_device=cpu` 和 `--rl_device=cpu`。对于 GPU 操作，请相应地指定 `--sim_device=cuda:{0,1,2...}` 和 `--rl_device={0,1,2...}`。请注意，`CUDA_VISIBLE_DEVICES` 不适用，并且必须匹配 `--sim_device` 和 `--rl_device` 的设置。
- **无头运行**：如需无渲染运行，请包含 `--headless`。
- **渲染控制**：在训练期间按 'v' 键切换渲染。
- **策略位置**：训练好的策略保存在 `humanoid/logs/<experiment_name>/<date_time>_<run_name>/model_<iteration>.pt`。

#### 5. 命令行参数
关于 RL 训练，请参阅 `humanoid/utils/helpers.py#L161`。
关于 sim-to-sim 流程，请参阅 `humanoid/scripts/sim2sim.py#L169`。

## 代码结构

1. 每个环境都依赖于一个 `env` 文件（`legged_robot.py`）和一个 `配置文件`（`legged_robot_config.py`）。后者包含两个类：`LeggedRobotCfg`（包含所有环境参数）和 `LeggedRobotCfgPPO`（表示所有训练参数）。
2. `env` 和 `config` 类都使用继承。
3. `cfg` 中指定的非零奖励权重会将相应名称的函数添加到总奖励中。
4. 任务必须通过 `task_registry.register(name, EnvClass, EnvConfig, TrainConfig)` 注册。注册可以在 `envs/__init__.py` 中进行，也可以在该仓库外部进行。

## 添加新环境

基础环境 `legged_robot` 构建了一个粗糙地形 locomotion（运动）任务。相应的配置没有指定机器人资产（URDF/MJCF），也没有设置奖励权重。

1. 如果需要添加新环境，请在 `envs/` 目录中创建一个新文件夹，并创建一个名为 `<your_env>_config.py` 的配置文件。新配置应继承自现有环境配置。
2. 如果要引入新机器人：
 - 将相应的资产插入 `resources/` 文件夹。
 - 在 `cfg` 文件中，设置资产路径，定义 body 名称、default_joint_positions（默认关节位置）和 PD gains（比例-微分增益）。指定所需的 `train_cfg` 和环境名称（python 类）。
 - 在 `train_cfg` 中，设置 `experiment_name` 和 `run_name`。
3. 如需要，在 `<your_env>.py` 中创建您的环境。继承自现有环境，覆盖所需函数和/或添加您的奖励函数。
4. 在 `humanoid/envs/__init__.py` 中注册您的环境。
5. 根据需要修改或调整 `cfg` 或 `cfg_train` 中的其他参数。要移除奖励，请将其权重设置为零。不要修改其他环境的参数！
6. 如果您希望新机器人/环境执行 sim2sim，您可能需要修改 `humanoid/scripts/sim2sim.py`：
 - 检查机器人在 MJCF 和 URDF 之间的关节映射。
 - 根据您训练的策略更改机器人的初始关节位置。

## 故障排除

请注意以下情况：

```bash
# 错误
ImportError: libpython3.8.so.1.0: cannot open shared object file: No such file or directory

# 解决方案
# 设置正确的路径
export LD_LIBRARY_PATH="~/miniconda3/envs/your_env/lib:$LD_LIBRARY_PATH" 

# 或者
sudo apt install libpython3.8

# 错误
AttributeError: module 'distutils' has no attribute 'version'

# 解决方案
# 安装 pytorch 1.12.0
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

# 错误，源于 conda 分发的 libstdc++ 版本与构建 Isaac Gym 时使用的版本不同
ImportError: /home/roboterax/anaconda3/bin/../lib/libstdc++.so.6: version `GLIBCXX_3.4.20` not found (required by /home/roboterax/carbgym/python/isaacgym/_bindings/linux64/gym_36.so)

# 解决方案
mkdir ${YOUR_CONDA_ENV}/lib/_unused
mv ${YOUR_CONDA_ENV}/lib/libstdc++* ${YOUR_CONDA_ENV}/lib/_unused

引用

如果您使用此代码或其部分内容，请引用以下文献：

@article{gu2024humanoid,
  title={Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer},
  author={Gu, Xinyang and Wang, Yen-Jen and Chen, Jianyu},
  journal={arXiv preprint arXiv:2404.05695},
  year={2024}
}

@inproceedings{gu2024advancing,
  title={Advancing Humanoid Locomotion: Mastering Challenging Terrains with Denoising World Model Learning},
  author={Gu, Xinyang and Wang, Yen-Jen and Zhu, Xiang and Shi, Chengming and Guo, Yanjiang and Liu, Yichen and Chen, Jianyu},
  booktitle={Robotics: Science and Systems},
  year={2024},
  url={https://enriquecoronadozu.github.io/rssproceedings2024/rss20/p058.pdf}
}

致谢

Humanoid-Gym 的实现依赖于 legged_gym 和 rsl_rl 项目（由 Robotic Systems Lab 创建）提供的资源。我们特别使用了他们研究中的 LeggedRobot 实现来增强我们的代码库。

如有疑问？

如果您有任何其他问题，请联系 support@robotera.com 或在此仓库中创建 issue。

Humanoid-Gym 快速上手指南

Humanoid-Gym 是一个基于 Nvidia Isaac Gym 的强化学习框架，用于训练人形机器人运动技能，支持零样本 sim2real 迁移。

环境准备

系统要求

• Python: 3.8
• NVIDIA 驱动: 推荐 525（最低 515）
• CUDA: 11.7
• 操作系统: Linux

前置依赖

# 创建 Python 3.8 虚拟环境
conda create -n humanoid_gym python=3.8
conda activate humanoid_gym

# 安装 PyTorch 1.13 + CUDA 11.7
conda install pytorch==1.13.1 torchvision==0.14.1 torchaudio==0.13.1 pytorch-cuda=11.7 -c pytorch -c nvidia

# 安装 numpy
conda install numpy=1.23

安装 Isaac Gym

1. 从 NVIDIA 官网 下载 Isaac Gym Preview 4
2. 安装 Isaac Gym Python 包：

cd isaacgym/python && pip install -e .

验证安装：

cd isaacgym/examples && python 1080_balls_of_solitude.py

安装步骤

# 克隆仓库
git clone https://github.com/zlw21gxy/humanoid-gym.git
cd humanoid-gym

# 安装 humanoid-gym
pip install -e .

基本使用

训练模型

cd humanoid-gym/humanoid

# 训练 PPO 策略（4096 个环境并行）
python scripts/train.py --task=humanoid_ppo --run_name v1 --headless --num_envs 4096

评估模型

# 加载并评估训练好的策略
python scripts/play.py --task=humanoid_ppo --run_name v1

Sim2Sim 迁移

# 先运行 play.py 导出 JIT 模型，然后执行 sim2sim
python scripts/sim2sim.py --load_model /path/to/logs/XBot_ppo/exported/policies/policy_1.pt

常用参数

参数	说明
--headless	无渲染模式运行
--sim_device=cpu	CPU 模拟
--rl_device=cuda:0	GPU 训练
--num_envs	并行环境数量

训练输出

训练好的策略保存在：

humanoid/logs/<experiment_name>/<date_time>_<run_name>/model_<iteration>.pt