Bi-DexHands：基于强化学习的双手灵巧操作

更新

[2023/02/09] 我们重新封装了Bi-DexHands。现在您不仅可以在命令行中调用Bi-DexHands环境，还可以在Python脚本中使用。请查看下方的README中的在Python脚本中使用Bi-DexHands部分。

[2022/11/24] 现在我们支持所有任务的视觉观测，请参阅这篇关于视觉输入的文档。

[2022/10/02] 现在我们支持默认的IsaacGymEnvs强化学习库rl_games，请参阅我们的README中的下方内容。

Bi-DexHands（点击bi-dexhands.ai）提供了一系列双手灵巧操作任务和强化学习算法。 达到人类水平的手部灵巧性和双手协调性仍然是现代机器人研究领域的一个开放性挑战。为了更好地帮助社区研究这一问题，Bi-DexHands具备以下关键特性：

• Isaac效率：Bi-DexHands构建于Isaac Gym之上；它支持同时运行数千个环境。例如，在一块NVIDIA RTX 3090 GPU上，Bi-DexHands通过并行运行2,048个环境，可以达到40,000+的平均FPS。
• 全面的强化学习基准：我们为RL、MARL、多任务RL、元强化学习和离线强化学习的研究者提供了首个双手操作任务环境，并附带针对SOTA连续控制无模型RL/MARL方法的全面基准。请参阅示例。
• 异构智能体协作：Bi-DexHands中的智能体（即关节、手指、手等）是真正意义上的异构体；这与常见的多智能体环境（如SMAC）截然不同，在那些环境中智能体通常可以通过共享参数来解决问题。
• 任务泛化能力：我们引入了多种灵巧操作任务（如交接、举起、投掷、放置等），以及来自YCB和SAPIEN数据集的大量目标物体（超过2,000种）；这使得元强化学习和多任务强化学习算法能够在任务泛化方面得到测试。
• 点云：我们提供了使用点云作为观测值的功能。我们利用Isaacc Gym中的深度相机获取深度图像，然后将其转换为局部点云。我们可以自定义深度相机的位置和数量，以从不同角度获取点云。生成点云的密度取决于相机像素的数量。请参阅视觉输入文档。
• 快速演示

此仓库的内容如下：

• 安装
  • 先决条件
  • 从源代码安装
• Bi-DexHands简介
• 环境概述
• 算法概述
• 开始使用
  • 任务
  • 训练
  • 测试
  • 绘图
  • 在Python脚本中使用Bi-DexHands
• 环境性能
  • 图表
• 离线强化学习数据集
• 使用rl_games训练我们的任务
• 未来计划
• 自定义您的环境
• 如何更改灵巧手类型
• 如何为灵巧手添加机械臂驱动
• 团队
• 许可证

有关这项工作的更多信息，请参阅我们的论文。

安装

关于IsaacGym的安装详情，请参阅此处。我们目前支持IsaacGym的Preview Release 3/4版本。

先决条件

该代码已在Ubuntu 18.04/20.04系统上使用Python 3.7/3.8进行了测试。Linux系统上推荐的最低NVIDIA驱动版本为470.74（由IsaacGym的支持要求决定）。

它使用Anaconda来创建虚拟环境。 要安装Anaconda，请按照此处的说明进行操作。

请确保Isaac Gym能在您的系统上正常运行，方法是运行python/examples目录下的示例之一，比如joint_monkey.py。如果您在运行示例时遇到任何问题，请按照Isaac Gym Preview Release 3/4安装说明中的故障排除步骤操作。

一旦Isaac Gym安装完成且示例在您当前的Python环境中能够正常运行，即可安装本仓库：

从源代码安装

您也可以从源代码安装本仓库：

pip install -e .

简介

此仓库包含复杂的灵巧手控制任务。Bi-DexHands构建于NVIDIA Isaac Gym之上，具有高性能保障，可用于训练强化学习算法。我们的环境专注于应用无模型RL/MARL算法进行双手灵巧操作，而这类任务被普遍认为对传统控制方法而言极具挑战性。

开始使用

任务

任务的源代码可以在 envs/tasks 中找到。状态/动作/奖励的具体设置请参见这里。

截至目前，我们发布了以下任务（未来还将推出更多）：

环境	描述	演示
ShadowHand 传递	这些环境涉及两只位置固定的机械手。初始持有物体的手需要设法将物体传递给另一只手。
ShadowHand 腋下接球	这些环境同样包含两只机械手，但它们现在具有额外的自由度，可以在一定范围内平移或旋转其质心。
ShadowHand 上抛下接	该环境由一半 ShadowHandCatchUnderarm 和一半 ShadowHandCatchOverarm 组成，物体需要从垂直放置的手抛向掌心朝上的另一只手。
ShadowHand 并排接球	该环境与 ShadowHandCatchUnderarm 类似，不同之处在于两只手的位置从相对变为并排。
ShadowHand 双人腋下接球	这些环境要求两只手协同配合，将两个物体在手中来回抛掷（即交换位置）。
ShadowHand 腋下提壶	该环境要求用两只手抓住壶柄，并将壶提升到指定位置。
ShadowHand 向内开门	该环境要求打开一扇关闭的门，且门只能向内拉动。
ShadowHand 向外开门	该环境要求打开一扇关闭的门，且门只能向外推开。
ShadowHand 向内关门	该环境要求关闭一扇已经打开的门，且门最初是向内打开的。
ShadowHand 开瓶盖	该环境涉及两只机械手和一个瓶子，我们需要用一只手握住瓶子，另一只手打开瓶盖。
ShadowHand 推方块	该环境要求两只手同时接触方块，并将其向前推动。
ShadowHand 打开剪刀	该环境要求两只手协同合作，打开一把剪刀。
ShadowHand 打开笔帽	该环境要求两只手协同合作，打开一支笔的笔帽。
ShadowHand 摆动杯子	该环境要求两只手握住杯柄，将杯子旋转 90 度。
ShadowHand 按按钮	该环境要求两只手同时按下按钮。
ShadowHand 抓取并放置	该环境有一个水桶和一个物体，我们需要将物体放入水桶中。

训练

训练示例

强化学习/多智能体强化学习示例

例如，如果你想使用PPO算法为ShadowHandOver任务训练策略，可以在bidexhands文件夹中运行以下命令：

python train.py --task=ShadowHandOver --algo=ppo

要选择算法，只需通过--algo=ppo/mappo/happo/hatrpo/...作为参数即可。例如，如果你想使用happo算法，可以在bidexhands文件夹中运行以下命令：

python train.py --task=ShadowHandOver --algo=happo

支持的单智能体强化学习算法如下：

• 近端策略优化（PPO）
• 信任域策略优化（TRPO）
• 双延迟DDPG（TD3）
• 软演员-评论家（SAC）
• 深度确定性策略梯度（DDPG）

支持的多智能体强化学习算法如下：

• 异构智能体近端策略优化（HAPPO）
• 异构智能体信任域策略优化（HATRPO）
• 多智能体近端策略优化（MAPPO）
• 独立近端策略优化（IPPO）
• 多智能体深度确定性策略梯度（MADDPG）

多任务/元强化学习示例

多任务/元强化学习的训练方法与RL/MARL类似，只需选择相应的多任务/元类别及对应算法即可。例如，如果你想使用MTPPO算法为ShadowHandMT4类别训练策略，可以在bidexhands文件夹中运行以下命令：

python train.py --task=ShadowHandMetaMT4 --algo=mtppo

支持的多任务强化学习算法如下：

• 多任务近端策略优化（MTPPO）
• 多任务信任域策略优化（MTTRPO）
• 多任务软演员-评论家（MTSAC）

支持的元强化学习算法如下：

• ProMP：近端元策略搜索（ProMP）

类Gym API

我们提供了一个类Gym API，允许从Isaac Gym环境中获取信息。我们的单智能体类Gym封装直接沿用了Isaac Gym团队的代码，并在此基础上开发了多智能体类Gym封装：

class MultiVecTaskPython(MultiVecTask):
    # 获取环境状态信息
    def get_state(self):
        return torch.clamp(self.task.states_buf, -self.clip_obs, self.clip_obs).to(self.rl_device)

    def step(self, actions):
        # 将所有智能体的动作按顺序堆叠并输入到环境中
        a_hand_actions = actions[0]
        for i in range(1, len(actions)):
            a_hand_actions = torch.hstack((a_hand_actions, actions[i]))
        actions = a_hand_actions
        # 对动作进行裁剪
        actions_tensor = torch.clamp(actions, -self.clip_actions, self.clip_actions)
        self.task.step(actions_tensor)
        # 获取环境中的信息，并手动区分不同智能体的观测值
        obs_buf = torch.clamp(self.task.obs_buf, -self.clip_obs, self.clip_obs).to(self.rl_device)
        hand_obs = []
        hand_obs.append(torch.cat([obs_buf[:, :self.num_hand_obs], obs_buf[:, 2*self.num_hand_obs:]], dim=1))
        hand_obs.append(torch.cat([obs_buf[:, self.num_hand_obs:2*self.num_hand_obs], obs_buf[:, 2*self.num_hand_obs:]], dim=1))
        rewards = self.task.rew_buf.unsqueeze(-1).to(self.rl_device)
        dones = self.task.reset_buf.to(self.rl_device)
        # 将信息整理成多智能体强化学习格式
        # 参考 https://github.com/tinyzqh/light_mappo/blob/HEAD/envs/env.py
        sub_agent_obs = []
        ...
        sub_agent_done = []
        for i in range(len(self.agent_index[0] + self.agent_index[1])):
            ...
            sub_agent_done.append(dones)
        # 转置第0维和第1维的值
        obs_all = torch.transpose(torch.stack(sub_agent_obs), 1, 0)
        ...
        done_all = torch.transpose(torch.stack(sub_agent_done), 1, 0)
        return obs_all、state_all、reward_all、done_all、info_all、None

    def reset(self):
        # 环境重置后，使用随机动作作为首次动作
        actions = 0.01 * (1 - 2 * torch.rand([self.task.num_envs, self.task.num_actions * 2], dtype=torch.float32, device=self.rl_device))
        # 运行模拟器
        self.task.step(actions)
        # 获取环境中的观测值和状态缓冲区，详细过程与step(self, actions)相同
        obs_buf = torch.clamp(self.task.obs_buf, -self.clip_obs, self.clip_obs)
        ...
        obs = torch.transpose(torch.stack(sub_agent_obs), 1, 0)
        state_all = torch.transpose(torch.stack(agent_state), 1, 0)
        return obs、state_all、None

RL/多智能体RL API

我们还提供了单智能体和多智能体RL接口。为了适配Isaac Gym并提高运行效率，所有操作均在GPU上以张量形式实现，因此无需在CPU和GPU之间传输数据。

我们以***HATRPO（用于合作任务的SOTA多智能体强化学习算法）***为例来说明多智能体RL API，请参考https://github.com/cyanrain7/TRPO-in-MARL：

from algorithms.marl.hatrpo_trainer import HATRPO as TrainAlgo
from algorithms.marl.hatrpo_policy import HATRPO_Policy as Policy
...
# 主循环开始前的预热
self.warmup()
# 记录数据
start = time.time()
episodes = int(self.num_env_steps) // self.episode_length // self.n_rollout_threads
train_episode_rewards = torch.zeros(1, self.n_rollout_threads, device=self.device)

# 主循环
for episode in range(episodes):
    if self.use_linear_lr_decay:
        self.trainer.policy.lr_decay(episode, episodes)
    done_episodes_rewards = []
    for step in range(self.episode_length):
        # 采样动作
        values, actions, action_log_probs, rnn_states, rnn_states_critic = self.collect(step)
        # 观测奖励和下一个观测
        obs, share_obs, rewards, dones, infos, _ = self.envs.step(actions)
        dones_env = torch.all(dones, dim=1)
        reward_env = torch.mean(rewards, dim=1).flatten()
        train_episode_rewards += reward_env
        # 记录每个回合结束时的奖励
        for t in range(self.n_rollout_threads):
            if dones_env[t]:
                done_episodes_rewards.append(train_episode_rewards[:, t].clone())
                train_episode_rewards[:, t] = 0

        data = obs, share_obs, rewards, dones, infos, \
                values, actions, action_log_probs, \
                rnn_states, rnn_states_critic
        # 将数据插入缓冲区
        self.insert(data)

    # 计算回报并更新网络
    self.compute()
    train_infos = self.train()
    # 后处理
    total_num_steps = (episode + 1) * self.episode_length * self.n_rollout_threads
    # 保存模型
    if (episode % self.save_interval == 0 or episode == episodes - 1):
        self.save()

测试

训练好的模型将被保存到 logs/${Task Name}/${Algorithm Name} 文件夹中。

要加载已训练好的模型并仅进行推理（不进行训练），请传递 --test 参数，并使用 --model_dir 指定您想要加载的已训练模型路径。对于单智能体强化学习，您需要通过 --model_dir 精确指定要加载的 .pt 模型文件。以 PPO 算法为例：

python train.py --task=ShadowHandOver --algo=ppo --model_dir=logs/shadow_hand_over/ppo/ppo_seed0/model_5000.pt --test

对于多智能体强化学习，则需通过 --model_dir 指定包含所有智能体模型文件的文件夹路径。以 HAPPO 算法为例：

python train.py --task=ShadowHandOver --algo=happo --model_dir=logs/shadow_hand_over/happo/models_seed0 --test

绘图

用户可以将所有的 tfevent 文件转换为 csv 文件，然后尝试绘制结果。请注意，应确保 env-num 和 env-step 与您的实验设置一致。详细信息请参阅 ./utils/logger/tools.py。

# 生成单智能体和多智能体算法的 csv 文件
$ python ./utils/logger/tools.py --alg-name <sarl algorithm> --alg-type sarl --env-num 2048 --env-step 8 --root-dir ./logs/shadow_hand_over --refresh 
$ python ./utils/logger/tools.py --alg-name <marl algorithm> --alg-type marl --env-num 2048 --env-step 8 --root-dir ./logs/shadow_hand_over --refresh 
# 生成图表
$ python ./utils/logger/plotter.py --root-dir ./logs/shadow_hand_over --shaded-std --legend-pattern "\\w+"  --output-path=./logs/shadow_hand_over/figure.png

在 Python 脚本中使用 Bi-DexHands

import bidexhands as bi
import torch

env_name = 'ShadowHandOver'
algo = "ppo"
env = bi.make(env_name, algo)

obs = env.reset()
terminated = False

while not terminated:
    act = torch.tensor(env.action_space.sample()).repeat((env.num_envs, 1))
    obs, reward, done, info = env.step(act)

环境性能

图表

我们提供了由 PPO、HAPPO、MAPPO、SAC 算法运行的稳定且可复现的基准测试结果。所有基准测试均在 2048 num_env 和 100M total_step 的参数设置下运行。dataset 文件夹中包含了原始的 CSV 文件。

ppo_collect 是用于收集离线数据的算法，其基本流程与 D4RL 中的 Mujoco 数据收集相同。首先使用 PPO 算法训练 5000 次迭代，并在前 2500 次迭代中收集并保存示范数据：

python train.py --task=ShadowHandOver --algo=ppo_collection --num_envs=2048 --headless

选择 model_5000.pt 作为导出策略来收集专家数据集：

python3 train.py --task=ShadowHandOver --algo=ppo_collect --model_dir=./logs/shadow_hand_over/ppo_collect/ppo_collect_seed-1/model_5000.pt --test --num_envs=200 --headless

类似地，选择 model.pt 作为随机策略，并选择另一个模型作为中等难度策略，分别按照上述方法收集随机数据和中等难度数据。在训练至中等难度策略之前，从示范数据中均匀采样得到回放缓冲区数据。每个数据集的大小均为 10^6 条样本。运行 merge.py 脚本以生成中等-专家数据集。

离线数据

我们论文中最初收集的数据可在此处获取： Shadow Hand Over， Shadow Hand Door Open Outward。

使用 rl_games 训练我们的任务

请注意，我们仅测试过 rl-games==1.5.2 版本，更高或更低版本可能会导致错误。

例如，若要使用 PPO 算法为 ShadowHandOver 任务训练策略，请在 bidexhands 文件夹中运行以下命令：

python train_rlgames.py --task=ShadowHandOver --algo=ppo

目前，rl_games 仅支持 PPO 和带有 LSTM 的 PPO 方法。若要使用带有 LSTM 的 PPO，请在 bidexhands 文件夹中运行以下命令：

python train_rlgames.py --task=ShadowHandOver --algo=ppo_lstm

使用 rl_games 生成的日志文件可在 bidexhands/runs 文件夹中找到。

已知问题

需要指出的是，Bi-DexHands 仍处于开发阶段，存在一些已知问题：

• 部分环境在程序运行后期可能因 PhysX 的碰撞计算缺陷而报错：

RuntimeError: CUDA error: an illegal memory access was encountered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.

• 尽管我们提供了实现，但并未对 DDPG、TD3 和 MADDPG 算法进行测试，这些算法可能仍存在 bug。

未来计划

• 为所有任务定义成功指标
• 添加工厂环境（参见 此链接）
• 增加对默认 IsaacGymEnvs RL 库 rl-games 的支持

引用

如果您认为本工作对您有所帮助，请按以下方式引用：

@inproceedings{
chen2022towards,
title={Towards Human-Level Bimanual Dexterous Manipulation with Reinforcement Learning},
author={Yuanpei Chen and Yaodong Yang and Tianhao Wu and Shengjie Wang and Xidong Feng and Jiechuan Jiang and Zongqing Lu and Stephen Marcus McAleer and Hao Dong and Song-Chun Zhu},
booktitle={Thirty-sixth Conference on Neural Information Processing Systems Datasets and Benchmarks Track},
year={2022},
url={https://openreview.net/forum?id=D29JbExncTP}
}

团队

Bi-DexHands 是由 Yuanpei Chen、Yaodong Yang、Tianhao Wu、Shengjie Wang、Xidong Feng、Jiechuang Jiang、Hao Dong、Zongqing Lu 以及来自北京大学的 Song-chun Zhu 共同贡献的项目。如有合作意向，请联系 yaodong.yang@pku.edu.cn。

我们还感谢以下两个开源仓库的贡献者： Isaac Gym、HATRPO。

此外，我们也建议用户阅读启发本工作的早期关于灵巧手操作的研究成果：arxiv.org/abs/2009.05104。

许可证

Bi-DexHands 采用 Apache 许可证，详情请参阅 LICENSE 文件。

# 1. 创建并激活虚拟环境 (示例使用 Python 3.8)
conda create -n bidexhands python=3.8
conda activate bidexhands

# 2. 克隆仓库代码
git clone https://github.com/PKU-MARL/DexterousHands.git
cd DexterousHands

# 3. 以可编辑模式安装依赖包
pip install -e .

python train.py --task=ShadowHandOver --algo=ppo

python train.py --task=ShadowHandOver --algo=happo

ShadowHandOver		ShadowHandLiftUnderarm
ShadowHandCatchUnderarm		ShadowHandDoorOpenInward
ShadowHandOver2Underarm		ShadowHandDoorOpenOutward
ShadowHandCatchAbreast		ShadowHandDoorCloseInward
ShadowHandTwoCatchUnderarm		ShadowHandDoorCloseOutward
ShadowHandPushBlock		ShadowHandPen
ShadowHandScissors		ShadowHandSwingCup
ShadowHandBlockStack		ShadowHandReOrientation

更多任务详情及状态/动作空间定义，请参阅项目内的 docs/environments.md 文档。