Rex：一款开源四足机器人

本项目的目标是通过训练一款开源的3D打印四足机器人，探索强化学习和OpenAI Gym的应用。我们的愿景是让机器人在仿真环境中学习各种家庭及通用任务，并将所学的控制策略无缝迁移到真实机器人上，而无需任何额外的手动调优。

该项目主要受到波士顿动力公司卓越工作的启发。

相关仓库

rexctl - 一个命令行应用程序，用于启动并控制运行已训练控制策略的Rex机器人。

rex-models - 一个Web URDF可视化工具，包含多个Rex机器人的模型集。

Rex-gym：OpenAI Gym环境与工具

该仓库包含用于训练Rex机器人的OpenAI Gym环境集合、Rex的URDF模型、学习智能体的实现（PPO算法），以及一些用于启动训练会话和可视化已学习控制策略的脚本。此命令行应用支持批量训练、策略复现和单次渲染训练。

安装

创建一个Python 3.7虚拟环境，例如使用Anaconda：

conda create -n rex python=3.7 anaconda
conda activate rex

PyPI包

安装公开的rex-gym包：

pip install rex_gym

从源码安装

克隆本仓库并在项目根目录下运行：

pip install .

CLI使用

运行rex-gym --help以显示可用命令，运行rex-gym COMMAND_NAME --help以查看特定命令的帮助信息。

使用--arg标志可设置仿真参数。完整列表请参阅环境参数。

要切换开环和贝塞尔控制器（逆运动学）模式，只需添加--open-loop或--inverse-kinematics标志。

rex-gym COMMAND_NAME -ik
rex-gym COMMAND_NAME -ol

有关模式的更多信息，请参阅学习方法。

策略播放器：运行预训练智能体

要启动一个预训练智能体（播放已学习的控制策略）：

rex-gym policy --env ENV_NAME

训练：运行单次训练仿真

要启动一次单智能体渲染会话（agents=1, render=True）：

rex-gym train --playground True --env ENV_NAME --log-dir LOG_DIR_PATH

训练：开始新的批量训练仿真

要开始一个新的批量训练会话：

rex-gym train --env ENV_NAME --log-dir LOG_DIR_PATH

机器人平台

Mark 1

本版本使用的机器人是Spotmicro，由Deok-yeon Kim设计制作。

我使用Creality Ender3 3D打印机，分别用PLA和TPU+材料打印了各个部件。

所使用的硬件列于本wiki中。

未来计划为机器人增加机械臂等组件，并在机架顶部安装激光雷达传感器；同时解决现有设计问题，以实现更简便可靠的校准和更稳定的伺服电机。

仿真模型

基础模型

Rex是一款12关节机器人，每条腿配备3个电机（肩部、腿部和足部）。

机器人基础模型通过URDF文件导入到pyBullet中。

伺服电机在model/motor.py类中建模。

机械臂

机械臂模型采用了开源的6自由度机械臂Poppy Ergo Jr，安装在机架顶部。

要切换基础模型和机械臂模型，使用--mark标志。

学习方法

本库采用近端策略优化（PPO）算法，其混合策略定义为：

a(t, o) = a(t) + π(o)

该策略可在完全由用户指定与完全从零开始学习之间连续调整。若希望使用用户指定策略，可将π(o)的上下限均设为零。若希望策略完全从零开始学习，则可将a(t) = 0，并为反馈组件π(o)设定较大的输出范围。

通过调整开环信号和反馈组件的输出范围，可以决定系统中用户控制的程度。

Rex的Gym环境采用双重方法实现：贝塞尔控制器和开环。

贝塞尔控制器实现了完全由用户指定的策略。该控制器利用逆运动学模型（见model/kinematics.py）生成步态。

开环模式在某些情况下会让系统完全从零开始学习（即设置开环组件a(t) = 0），而在另一些情况下则仅提供简单的轨迹参考（如a(t) = sin(t)）。

其目的是比较这两种不同方法下学习到的策略及其表现。

任务

本实验旨在覆盖以下任务：

1. 基本控制：
   1. 静态姿态 - 在原地保持固定姿势。
   • 贝塞尔控制器
   • 开环信号
   2. 小跑
      • 前进
      • 贝塞尔控制器
      • 开环信号
      • 后退
      • 贝塞尔控制器
      • 开环信号
   3. 行走
      • 前进
      • 贝塞尔控制器
      • 开环信号
      • 后退
      • 贝塞尔控制器
      • 开环信号
   4. 原地转向
   • 贝塞尔控制器
   • 开环信号
   5. 从地面站起
   • 贝塞尔控制器
   • 开环信号
2. 在不平坦地形上导航：
   • 随机高度场、山丘、山脉
   • 迷宫
   • 楼梯
3. 开门
4. 抓取物体
5. 跌倒恢复
6. 到达地图上的特定点
7. 绘制开放空间地图

地形

要设置特定地形，使用--terrain标志。默认地形为标准平面。此功能有助于测试策略的鲁棒性。

随机高度场

使用--terrain random标志生成随机高度场图案。该图案会在每次“重置”时更新。

山丘

使用--terrain hills标志生成不平坦地形。

山脉

使用--terrain mounts标志生成此类场景。

迷宫

使用--terrain maze标志生成此类场景。

环境

基本控制：静态姿态

目标：使Rex机器人基础部分在原地保持静态姿态。

逆运动学

该 Gym 环境用于学习如何优雅地摆出姿势，同时避免动作过于迅速。它使用一维的动作空间，并包含一个反馈组件 π(o)，其取值范围为 [-0.1, 0.1]。反馈信号会应用到 Sigmoid 函数上，以协调机器人的运动。当使用 --playground 标志时，可以通过 pyBullet 的用户界面手动设置特定的机器人姿态，调整机器人基座的位置（x、y、z）和方向（roll、pitch、yaw）。

基本控制：疾驰

目标：直线疾驰并在指定位置停止。

为了使学习过程更加稳健，在每次重置步骤中，Rex 的目标位置都会随机选择。

贝塞尔控制器

该 Gym 环境用于学习如何优雅地启动步态，并在到达目标位置（x 轴方向）后平稳停止。它采用二维动作空间，包含一个反馈组件 π(o)，其取值范围为 [-0.3, 0.3]。反馈组件会作用于两个斜坡函数，用于协调步态。正确的起始动作有助于消除由步态在最终学习策略中产生的漂移效应。

开环信号

该 Gym 环境用于让系统从零开始学习步态。动作空间有 4 个维度，其中两个分别控制前腿和脚部，另外两个控制后腿和脚部，反馈组件的输出范围为 [-0.3, 0.3]。

基本控制：行走

目标：直线行走并在指定位置停止。

为了使学习过程更加稳健，在每次重置步骤中，Rex 的目标位置都会随机选择。

贝塞尔控制器

该 Gym 环境用于学习如何优雅地启动步态，并在到达目标位置（x 轴方向）后平稳停止。它采用二维动作空间，包含一个反馈组件 π(o)，其取值范围为 [-0.4, 0.4]。反馈组件会作用于两个斜坡函数，用于协调步态。正确的起始动作有助于消除由步态在最终学习策略中产生的漂移效应。

前进

后退

开环信号

该 Gym 环境使用正弦轨迹参考来交替控制 Rex 的腿部运动。

leg(t) = 0.1 cos(2π/T*t)
foot(t) = 0.2 cos(2π/T*t)

反馈组件的取值范围非常小：[-0.01, 0.01]。通过使用斜坡函数，可以实现步态的平滑启动和停止。

基本控制：原地转向

目标：在原地转向至目标方向。

为了使学习过程更加稳健，在每次重置步骤中，Rex 的初始方向和目标方向都会随机选择。

贝塞尔控制器

该 Gym 环境用于优化 GaitPlanner 使用的 step_length 和 step_rotation 参数，以实现“转向”步态。它采用二维动作空间，包含一个反馈组件 π(o)，其取值范围为 [-0.05, 0.05]。

开环

该环境用于学习一种“原地转向”步态，使 Rex 能够朝向特定方向移动。它采用二维动作空间，包含一个小的反馈组件 π(o)，其取值范围为 [-0.05, 0.05]，用于优化步态中的肩部和脚部角度。

基本控制：站立

目标：从待机状态站立起来。 该环境引入了 rest_position，即 Rex 处于待机状态时的理想姿势。

开环

动作空间为 1 维，包含一个反馈组件 π(o)，其取值范围为 [-0.1, 0.1]，用于优化信号的时间序列。信号函数会施加“制动”，迫使 Rex 在完成动作之前先停在中间位置。

环境参数

环境	env 标志	arg 标志
疾驰	gallop	target_position
行走	walk	target_position
原地转向	turn	init_orient, target_orient
站立	standup	无

arg	描述
init_orient	初始方向（弧度）
target_orient	目标方向（弧度）
target_position	目标位置（x 轴）

标志	描述
log-dir	日志目录将被创建的路径。（必填）
playground	是否启动单次渲染训练会话的布尔值
agents-number	设置并行智能体的数量

PPO 智能体配置

您可能需要修改 PPO 智能体的默认配置，尤其是模拟过程中启动的并行智能体数量。

使用 --agents-number 标志，例如 --agents-number 10。

此配置将并行启动 10 个智能体（线程）来训练您的模型。

默认值已在 agents/scripts/configs.py 脚本中设定：

def default():
    """PPO 的默认配置"""
    # 通用
    ...
    num_agents = 20

致谢

论文

Sim-to-Real: 四足机器人敏捷运动的学习 及相关论文。Google Brain、Google X、Google DeepMind - Minitaur Ghost Robotics。

四足机器人的逆运动学分析

高速小跑步态下四足机器人的腿部轨迹规划

机器人平台 v1

Deok-yeon Kim 是 SpotMini 的创作者。

出色的 Poppy 项目。

SpotMicro CAD 文件：SpotMicroAI 社区。

灵感来源

该运动学模型受到 Miguel Ayuso 的杰出工作的启发。

Rex-Gym 快速上手指南

Rex-Gym 是一个基于 OpenAI Gym 和强化学习（PPO 算法）的四足机器人训练框架。它旨在通过仿真环境训练控制策略，并无缝迁移到真实的 3D 打印机器人上。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux 或 macOS (Windows 可能需要额外配置 pyBullet)
• Python 版本: Python 3.7 (强烈推荐)
• 依赖管理: 推荐使用 Anaconda 或 Miniconda 管理虚拟环境
• 硬件加速: 虽然 CPU 也可运行，但建议使用 NVIDIA GPU 以加快训练速度

安装步骤

1. 创建虚拟环境

使用 Conda 创建并激活一个名为 rex 的 Python 3.7 环境：

conda create -n rex python=3.7 anaconda
conda activate rex

2. 安装 Rex-Gym

您可以选择从 PyPI 直接安装（推荐），或从源码安装。

方式一：从 PyPI 安装

pip install rex_gym

(注：国内用户若下载缓慢，可添加清华源：pip install rex_gym -i https://pypi.tuna.tsinghua.edu.cn/simple)

方式二：从源码安装 如果您需要修改代码或查看最新特性，可以克隆仓库后安装：

git clone <repository_url>
cd rex-gym
pip install .

基本使用

安装完成后，您可以使用 rex-gym 命令行工具进行策略回放或开始训练。

1. 查看帮助信息

查看所有可用命令及参数说明：

rex-gym --help

2. 运行预训练策略 (Policy Player)

加载并运行一个已经训练好的智能体，观察其在仿真中的表现。以下示例运行名为 gallop (疾跑) 的环境：

rex-gym policy --env gallop

• 切换控制模式：
  • 使用逆运动学控制器 (Bezier): 添加 -ik 标志
  • 使用开环控制 (Open Loop): 添加 -ol 标志
  • 示例：rex-gym policy --env walk -ol

3. 开始训练 (Train)

单智能体可视化训练 启动一个带有图形界面渲染的训练会话，适合调试和观察：

rex-gym train --playground True --env walk --log-dir ./logs/walk_demo

批量并行训练 (推荐) 启动无渲染的批量训练以加速收敛。默认配置为 20 个并行智能体，可通过 --agents-number 调整：

rex-gym train --env gallop --log-dir ./logs/gallop_batch --agents-number 10

4. 高级选项：地形与任务

您可以通过参数指定不同的地形来测试策略的鲁棒性：

• 随机高度场: --terrain random
• 丘陵地形: --terrain hills
• 山地地形: --terrain mounts
• 迷宫: --terrain maze

完整示例（在随机地形上训练行走策略）：

rex-gym train --env walk --terrain random --log-dir ./logs/rough_walk

---

提示：训练日志和模型权重将保存在您指定的 --log-dir 目录中。训练完成后，可使用 policy 命令加载该目录下的模型进行验证。