cadrl_ros（基于深度强化学习的碰撞规避）

使用深度强化学习训练的动态障碍物避障算法的 ROS 实现

论文：

M. Everett, Y. Chen 和 J. P. How，“基于深度强化学习的动态决策型智能体间的运动规划”，IEEE/RSJ 智能机器人与系统国际会议 (IROS)，2018 年

论文：https://arxiv.org/abs/1805.01956
视频：https://www.youtube.com/watch?v=XHoXkWLhwYQ

BibTeX 格式：

@inproceedings{Everett18_IROS,
  address = {Madrid, Spain},
  author = {Everett, Michael and Chen, Yu Fan and How, Jonathan P.},
  booktitle = {IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)},
  date-modified = {2018-10-03 06:18:08 -0400},
  month = sep,
  title = {Motion Planning Among Dynamic, Decision-Making Agents with Deep Reinforcement Learning},
  year = {2018},
  url = {https://arxiv.org/pdf/1805.01956.pdf},
  bdsk-url-1 = {https://arxiv.org/pdf/1805.01956.pdf}
}

依赖项：

• 需要 TensorFlow（已测试版本为 1.4.0）

• 需要 numpy

• ROS 是可选的（已在 Ubuntu 16.04 的 Kinetic 版本上测试过）

• 如果使用 ROS，还需要 ford_msgs，用于我们自定义的消息定义。

一般说明：

该软件的主要贡献在于 network.py 文件以及训练好的模型参数（TensorFlow 检查点）。这些内容包含了我们在论文中报告的策略，并使其他研究人员能够方便地比较未来的算法。

为了便于理解代码流程，我们在 scripts/ga3c_cadrl_demo.ipynb 中提供了一个 Jupyter 笔记本形式的示例。这可以作为参考，但如果您打算编辑该文件，请确保在 TensorFlow 的虚拟环境中安装了 Jupyter，以保证其正常运行。

运行 Jupyter 笔记本（算法的最小工作示例）

此步骤假设您已经安装了 nvidia-docker。稍作修改后也可能适用于普通 Docker。

git clone git@github.com/mfe7/cadrl_ros
./cadrl_ros/docker/build_docker.sh
./cadrl_ros/docker/run_docker.sh

这将启动一个 Docker 容器实例，并输出 Jupyter 笔记本的 URL。将该 URL 复制到浏览器中，导航至 cadrl_ros/scripts 并打开 ga3c_cadrl_demo.ipynb。

您刚刚构建的 Docker 容器中已安装好 TensorFlow 及其他依赖项，因此该笔记本应该可以直接运行。

ROS 注意事项：

我们还提供了一个 ROS 实现，该实现已在 Clearpath Jackal 地面机器人上进行了测试。该节点只是实现动态障碍物间自主导航所需软件中的一个模块，其中大部分代码都是为了与我们的系统集成而编写的。按照当前编写方式，该 ROS 节点可能对其他系统并不特别有用，但它可以作为一个示例，展示如何连接各个模块，以便在硬件上测试我们所学习的碰撞规避策略。例如，其他系统可能从其感知系统提取的动态障碍物表示格式不同，但只要在查询策略时能够将相同的信息传递到状态向量中，就可以轻松替换我们的 cbClusters 方法。我们建议先查看 Jupyter 笔记本。

该算法是在目标距离设置为距智能体起始位置小于 10 米的情况下训练的，因此如果要在较长的旅程中进行测试，就需要为该系统提供局部子目标。而对于较短的距离，比如在一个开放的中庭内，则可能不需要这样做。

运行 ROS 版本：

克隆并构建本仓库及其依赖项（假设目标路径为 ~/catkin_ws/src）：

cd ~/catkin_ws/src
git clone git@github.com/mfe7/cadrl_ros
git clone git@bitbucket.org:acl-swarm/ford_msgs.git -b dev
cd ~/catkin_ws && catkin_make

将您系统的输入/输出连接到 launch/cadrl_node.launch。

订阅的主题：

• ~pose [geometry_msgs/PoseStamped]
  机器人在全局坐标系中的位姿

• ~velocity [geometry_msgs/Vector3]
  机器人在全局坐标系中的线速度（vx, vy）

• ~goal [geometry_msgs/PoseStamped]
  机器人在全局坐标系中的目标位置

• ~clusters [ford_msgs/Clusters]
  周围其他智能体的位置、速度和尺寸信息

• 待办事项：planner_mode、safe_actions、peds

发布的主题：

• ~nn_cmd_vel [geometry_msgs/Twist]
  根据网络输出，机器人被命令的扭转速度（线速度和角速度）

• 其他发布的话题仅用于可视化：

  • ~pose_marker 在 ~pose 所指示的位置显示黄色矩形
  • ~path_marker 按照 ~pose 的历史轨迹显示红色轨迹
  • ~goal_path_marker 显示指向未来 1 秒钟处命令速度方向的蓝色箭头
  • ~agent_markers 在附近智能体的位置显示橙色圆柱体

• 待办事项：移除 other_agents_marker 和 other_vels

参数：

• ~jackal_speed
  机器人期望的速度（m/s）——已在低于 1.2 m/s 的速度下测试过（并且训练目标是优化在此速度附近）

数据集：

如论文所述，我们提供了一些数据集，可能对希望训练碰撞规避神经网络的研究人员有所帮助。请在 此 Dropbox 文件夹 中找到这些文件及使用说明。

论文中使用的测试案例已发布在 此 Dropbox 文件夹 中。这些测试案例包含每个案例的初始位置、目标位置、期望速度、半径设置等信息，并按智能体数量分类。它们是随机生成的，旨在产生一些有趣的场景来评估算法性能，但由于是随机生成的，有些场景可能会非常简单或乏味。

主要代码维护者：

Michael Everett（https://github.com/mfe7）

cadrl_ros 快速上手指南

cadrl_ros 是一个基于深度强化学习（Deep RL）的动态障碍物避障算法的 ROS 实现。该工具允许机器人在存在其他动态决策智能体的环境中进行运动规划。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: 推荐 Ubuntu 16.04 (已测试)，其他 Linux 发行版可能需要调整。
• 核心依赖:
  • TensorFlow: 必需 (测试版本为 1.4.0)。
  • NumPy: 必需。
  • ROS: 可选 (若需集成到机器人系统，测试版本为 ROS Kinetic)。
  • ford_msgs: 若使用 ROS，需安装此自定义消息包。
• 容器化运行 (推荐): 为了简化依赖配置，强烈建议使用 nvidia-docker 或标准 docker 运行 Jupyter 演示示例。

注意：由于 TensorFlow 1.x 版本较老且部分源可能访问受限，建议在国内网络环境下配置好相应的 pip 镜像源（如清华源或阿里源）后再安装 Python 依赖。

安装步骤

您可以根据需求选择两种安装方式：Jupyter 演示模式（最简单，用于理解算法逻辑）或 ROS 原生模式（用于实机集成）。

方式一：Docker 运行 Jupyter 演示（推荐初学者）

此方式无需手动配置复杂的 TensorFlow 和 ROS 环境，通过 Docker 容器即可运行最小可行性示例。

1. 克隆代码库:

   git clone git@github.com:mfe7/cadrl_ros
   

2. 构建并运行 Docker 容器: 确保已安装 nvidia-docker (或兼容的 docker 运行时)。

   ./cadrl_ros/docker/build_docker.sh
   ./cadrl_ros/docker/run_docker.sh
   

3. 访问界面: 脚本运行后，终端会输出一个 Jupyter Notebook 的 URL。将其复制到浏览器中打开，导航至 cadrl_ros/scripts 目录，打开 ga3c_cadrl_demo.ipynb 即可运行演示。

方式二：ROS 原生安装（用于实机部署）

如果您需要将算法集成到真实的机器人系统（如 Clearpath Jackal）中，请按以下步骤操作。假设您的工作空间位于 ~/catkin_ws。

1. 克隆代码及依赖:

   cd ~/catkin_ws/src
   git clone git@github.com:mfe7/cadrl_ros
   git clone git@bitbucket.org:acl-swarm/ford_msgs.git -b dev
   

2. 编译工作空间:

   cd ~/catkin_ws && catkin_make
   

3. 配置启动文件: 根据您的传感器和系统架构，修改 launch/cadrl_node.launch 以连接正确的输入/输出话题。

基本使用

1. 算法逻辑验证 (Jupyter Notebook)

在 Docker 容器启动后，打开 ga3c_cadrl_demo.ipynb。该笔记本展示了算法的核心流程：

• 加载预训练的 TensorFlow 模型参数 (network.py)。
• 构建状态向量（包含自身位置、速度、目标点及周围障碍物信息）。
• 调用策略网络输出避障指令。
• 适用场景: 研究算法原理、复现论文结果或在仿真环境中测试策略。

2. ROS 节点运行

在原生 ROS 环境中，该节点作为一个模块运行，负责发布速度指令。

• 订阅话题 (Inputs):

  • ~pose (geometry_msgs/PoseStamped): 机器人在全局坐标系下的位姿。
  • ~velocity (geometry_msgs/Vector3): 机器人在全局坐标系下的线速度 (vx, vy)。
  • ~goal (geometry_msgs/PoseStamped): 机器人的目标位置。
  • ~clusters (ford_msgs/Clusters): 周围动态障碍物的位置、速度和尺寸信息。
    • 提示: 如果您的感知系统输出格式不同，需重写 cbClusters 方法以适配状态向量输入。

• 发布话题 (Outputs):

  • ~nn_cmd_vel (geometry_msgs/Twist): 神经网络输出的控制指令（线速度和角速度）。
  • 可视化标记 (Markers): 包括机器人位姿、历史轨迹、预测路径及障碍物位置，可在 RViz 中查看。

• 关键参数:

  • ~jackal_speed: 机器人偏好速度 (m/s)。模型训练时针对 1.2m/s 以下速度进行了优化，建议设置在此范围内。

重要提示: 该算法训练时的目标距离设定在起点 10 米以内。若用于长距离导航，请务必提供局部子目标点（local subgoals）；若在开阔短距离场景（如大厅）测试，可直接使用全局目标。