SERL：用于样本高效机器人强化学习的软件套件

网页：https://serl-robot.github.io/

🔴 重要提示 🔴：本仓库即将弃用。请查看我们的新项目 HIL-SERL：https://hil-serl.github.io/

SERL 提供了一系列库、环境封装以及示例，用于训练机器人操作任务的强化学习策略。以下章节将介绍如何使用 SERL，并通过示例说明其用法。

🎬：SERL 视频，附加视频 讨论样本高效的强化学习。

目录

• SERL：用于样本高效机器人强化学习的软件套件
  • 安装
  • 概述与代码结构
  • 在仿真环境中快速入门 SERL
  • 在真实机器人上使用 Franka 机械臂运行
  • 贡献
  • 引用

主要更新

2024年6月24日

对于使用 SERL 进行抓取等涉及夹爪控制的任务的用户，我们强烈建议为夹爪动作的变化添加一个小惩罚项，这将显著提高训练速度。 详情请参阅：PR #65。

此外，我们还建议在训练过程中除了加载离线演示数据外，同时进行在线干预。如果您拥有 Franka 机器人和 SpaceMouse，只需在训练期间轻触 SpaceMouse 即可实现这一操作。

2024年4月25日

我们修复了干预动作帧中的一个重大问题。请参阅发布版本 v0.1.1。请将您的代码更新至主分支。

安装

1. 设置 Conda 环境： 创建一个环境：

   conda create -n serl python=3.10
   

2. 按照以下方式安装 Jax：

   • 对于 CPU（不推荐）：

     pip install --upgrade "jax[cpu]"
     

   • 对于 GPU：

     pip install --upgrade "jax[cuda12_pip]==0.4.35" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
     

   • 对于 TPU：

     pip install --upgrade "jax[tpu]" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html
     

   • 更多关于 Jax 安装的详细信息，请参阅 Jax GitHub 页面。

3. 安装 serl_launcher

   cd serl_launcher
   pip install -e .
   pip install -r requirements.txt
   

概述与代码结构

SERL 为用户提供了一组通用库，用于训练机器人操作任务的强化学习策略。运行强化学习实验的主要架构包括一个执行者节点和一个学习者节点，两者都与机器人 Gym 环境交互。这两个节点异步运行，数据通过网络使用 agentlace 从执行者发送到学习者。学习者会定期与执行者同步策略。这种设计为并行训练和推理提供了灵活性。

代码结构表

代码目录	描述
serl_launcher	SERL 的主代码
serl_launcher.agents	智能体策略（例如 DRQ、SAC、BC）
serl_launcher.wrappers	Gym 环境封装
serl_launcher.data	回放缓冲区和数据存储
serl_launcher.vision	视觉相关模型和工具
franka_sim	Franka Mujoco 仿真 Gym 环境
serl_robot_infra	用于与真实机器人配合使用的机器人基础设施
serl_robot_infra.robot_servers	用于通过 ROS 向机器人发送命令的 Flask 服务器
serl_robot_infra.franka_env	用于真实 Franka 机器人的 Gym 环境

在仿真环境中快速入门 SERL

我们提供了一个仿真环境，用于尝试使用 Franka 机器人运行 SERL。

请参阅 在仿真环境中快速入门 SERL

• 基于状态观测的训练示例
• 基于图像观测的训练示例
• 结合 20 条演示轨迹的图像观测训练示例

在真实机器人上使用 Franka 机械臂运行

我们提供了一个逐步指南，用于在真实的 Franka 机器人上使用 SERL 训练强化学习策略。

请参阅 在真实机器人上使用 Franka 机械臂运行

• 插销插入 📍
• PCB 元件插入 🖥️
• 电缆布线 🔌
• 物体搬运 🗑️

贡献

我们欢迎对本仓库的贡献！如果您对代码库有任何改进，请 fork 并提交 PR。在提交 PR 之前，请运行 pre-commit run --all-files，以确保代码格式正确。

引用

如果您在研究中使用了此代码，请引用我们的论文：

@misc{luo2024serl,
      title={SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning},
      author={Jianlan Luo and Zheyuan Hu and Charles Xu and You Liang Tan and Jacob Berg and Archit Sharma and Stefan Schaal and Chelsea Finn and Abhishek Gupta and Sergey Levine},
      year={2024},
      eprint={2401.16013},
      archivePrefix={arXiv},
      primaryClass={cs.RO}
}

SERL 快速上手指南

⚠️ 重要提示：本仓库（SERL）目前已停止主要维护，官方推荐迁移至新项目 HIL-SERL (https://hil-serl.github.io/)。以下指南仅适用于需要继续使用原版 SERL 的场景。

SERL 是一套用于高效机器人强化学习（RL）的软件套件，专为机械臂操作任务设计。它提供了常用的库、环境封装器及示例，支持基于状态或图像观测的策略训练。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 20.04/22.04)
• Python 版本: 3.10
• 硬件加速:
  • GPU: 推荐 NVIDIA GPU (需安装对应 CUDA 驱动)，用于加速训练。
  • TPU: 可选，需特定环境配置。
  • CPU: 仅用于调试，不推荐用于实际训练。
• 依赖管理: 已安装 conda (Miniconda 或 Anaconda)。

2. 安装步骤

第一步：创建 Conda 环境

创建一个名为 serl 的独立环境，并指定 Python 版本为 3.10：

conda create -n serl python=3.10
conda activate serl

第二步：安装 JAX

根据您的硬件设备选择对应的安装命令。国内用户若遇到连接超时，可尝试配置 pip 国内镜像源（如清华源）。

• GPU 版本 (推荐):

  pip install --upgrade "jax[cuda12_pip]==0.4.35" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
  # 若使用国内镜像加速 pip 包下载，可添加 -i 参数，例如：
  # pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade "jax[cuda12_pip]==0.4.35" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
  

• TPU 版本:

  pip install --upgrade "jax[tpu]" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html
  

• CPU 版本 (仅调试用):

  pip install --upgrade "jax[cpu]"
  

第三步：安装 SERL 启动器

进入 serl_launcher 目录并进行本地安装：

cd serl_launcher
pip install -e .
pip install -r requirements.txt

3. 基本使用

SERL 采用异步架构，包含 Actor (执行交互) 和 Learner (策略学习) 两个节点，通过 agentlace 进行通信。

快速体验：仿真环境 (Sim)

如果您没有实体机器人，可以使用内置的 Franka Mujoco 仿真环境进行测试。

1. 查看仿真快速入门文档： 详细教程请参考项目内的 /docs/sim_quick_start.md。

2. 典型运行场景：

   • 基于状态观测训练：适合快速验证算法逻辑。
   • 基于图像观测训练：模拟真实视觉输入。
   • 结合演示数据训练：加载 20 条演示轨迹（Demo Trajectories）以加速收敛。

   示例命令结构（具体脚本路径请参考文档）：

   # 运行仿真训练示例 (伪代码，具体文件名见 docs/sim_quick_start.md)
   python examples/train_sim_state.py
   

进阶使用：实体机器人 (Real Robot)

若需在真实的 Franka 机械臂上运行：

1. 硬件要求：Franka Emika 机械臂、SpaceMouse (用于人工干预) 及相机设备。
2. 配置服务：启动 serl_robot_infra 中的 ROS Flask 服务器以发送控制指令。
3. 参考文档：详细步骤请查阅 /docs/real_franka.md，涵盖 peg insertion ( peg 插入)、PCB 组件插入等经典任务。

💡 训练优化建议 (2024 年 6 月更新)

• 夹爪动作惩罚：对于涉及夹爪控制的任务（如抓取物体），建议在奖励函数中对夹爪动作的变化量添加微小的惩罚项，这可显著提升训练速度（详见 PR #65）。
• 在线干预：除了加载离线演示数据外，强烈建议在训练过程中提供在线人工干预。如果您拥有 Franka 和 SpaceMouse，只需在训练期间操作 SpaceMouse 即可实时纠正机器人行为。

---

注：本工具采用 MIT 许可证。如需引用，请参考原 README 中的 BibTeX 格式。