NavRL：在动态环境中学习安全飞行

欢迎来到NavRL仓库！本仓库提供了NavRL框架的实现，该框架旨在利用强化学习使机器人能够在动态环境中安全导航。尽管原始论文专注于无人机导航，但NavRL可以扩展到任何采用基于速度控制系统的机器人。

有关更多详细信息，请参阅此处提供的相关论文：

Zhefan Xu, Xinming Han, Haoyu Shen, Hanyu Jin 和 Kenji Shimada，“NavRL：在动态环境中学习安全飞行”，IEEE机器人与自动化快报（RA-L），2025年。[IEEE Xplore] [预印本] [YouTube] [BiliBili]

新闻

• 2025年4月6日： 我们发布了易于运行的Python脚本，允许用户快速运行演示。
• 2025年2月23日： 我们的NavRL框架的GitHub代码、视频演示和相关论文已发布。作者将积极维护和更新此仓库！

目录

• 在NVIDIA Isaac Sim中训练
• 部署虚拟环境
• NavRL ROS1部署
• NavRL ROS2部署
• 引用与参考
• 致谢

NavRL三分钟快速演示

我们提供了一个预训练模型和易于运行的Python脚本，用于NavRL框架的快速演示。

要开始使用，请按照部署虚拟环境中的步骤设置Conda环境。设置完成后，您可以使用以下命令运行三个演示：

conda activate NavRL
cd NavRL/quick-demos

# 演示一：导航至预定义的目标点
python simple-navigation.py

# 演示二：导航至动态/随机分配的目标点
python random-navigation.py

# 演示三：多机器人导航
python multi-robot-navigation.py

I. 在NVIDIA Isaac Sim中训练

本节提供了在Isaac Sim中使用NavRL框架训练您自己的强化学习智能体的步骤。如果您不打算自己训练智能体，请跳过本节直接进入部署部分。

Isaac Sim安装

本项目是使用2023年11月发布的Isaac Sim 2023.1.0-hotfix.1版本开发的。请务必下载并使用此确切版本，因为使用其他版本可能会因版本不兼容而出现错误。 此外，请确保已安装conda。

如果您已经下载了Isaac Sim 2023.1.0-hotfix.1版本，可以跳过以下步骤。否则，请按照以下说明下载Isaac Sim的旧版，因为官方安装不支持旧版下载。

要下载Isaac Sim 2023.1.0-hotfix.1版本：

a. 首先，按照此链接上的步骤完成Docker容器的设置。

b. 然后，将Isaac Sim下载到您的Docker容器中：

docker pull nvcr.io/nvidia/isaac-sim:2023.1.0-hotfix.1

docker run --name isaac-sim --entrypoint bash -it --runtime=nvidia --gpus all -e "ACCEPT_EULA=Y" --rm --network=host \
    -e "PRIVACY_CONSENT=Y" \
    -v ~/docker/isaac-sim/cache/kit:/isaac-sim/kit/cache:rw \
    -v ~/docker/isaac-sim/cache/ov:/root/.cache/ov:rw \
    -v ~/docker/isaac-sim/cache/pip:/root/.cache/pip:rw \
    -v ~/docker/isaac-sim/cache/glcache:/root/.cache/nvidia/GLCache:rw \
    -v ~/docker/isaac-sim/cache/computecache:/root/.nv/ComputeCache:rw \
    -v ~/docker/isaac-sim/logs:/root/.nvidia-omniverse/logs:rw \
    -v ~/docker/isaac-sim/data:/root/.local/share/ov/data:rw \
    -v ~/docker/isaac-sim/documents:/root/Documents:rw \
    nvcr.io/nvidia/isaac-sim:2023.1.0-hotfix.1

c. 将下载的Isaac Sim从Docker容器移动到您的本地机器上：

bash docker ps # 在另一个终端中查看您的容器ID

# 将<id_container>替换为上一条命令的输出
docker cp <id_container>:isaac-sim/. /path/to/local/folder # 绝对路径

现在，Isaac Sim 2023.1.0-hotfix.1版本已安装在您的本地机器上。

NavRL训练设置

要设置NavRL框架，请克隆仓库并按照以下步骤操作（此过程可能需要几分钟）：

# 设置ISAACSIM_PATH环境变量
echo 'export ISAACSIM_PATH="path/to/isaac_sim-2023.1.0-hotfix.1"' >> ~/.bashrc

cd NavRL/isaac-training
bash setup.sh

设置完成后，您应该已经创建了一个名为NavRL的虚拟环境。

验证安装并运行一个训练示例

使用默认参数运行一个包含2个机器人的训练示例，以验证安装是否正确。

# 激活NavRL虚拟环境
conda activate NavRL

# 使用默认设置运行一个训练示例
python training/scripts/train.py

如果仓库安装正确，您应该能够看到如下所示的Isaac Sim窗口：

训练您自己的强化学习智能体

训练环境设置和超参数可以在 NavRL/isaac-training/training/cfg 中找到。

以下示例演示了使用 1024 个机器人、350 个静态障碍物和 80 个动态障碍物进行训练（需要 RTX 4090 显卡）。我们建议使用 Wandb 来监控您的训练和评估统计信息。

python training/scripts/train.py headless=True env.num_envs=1024 env.num_obstacles=350 \
env_dyn.num_obstacles=80 wandb.mode=online

经过足够长时间的训练后，您应该会观察到机器人学会避免碰撞：

https://github.com/user-attachments/assets/2294bd94-69b3-4ce8-8e91-0118cfae9bcd

II. 部署虚拟环境

本节提供了部署 NavRL 所需的最小 Conda 环境设置（包括在真实机器人上运行）。如果您已经在 Isaac 训练步骤 中创建了 NavRL 的 Conda 环境，则可以跳过本节。要创建 Conda 环境，请运行以下命令：

cd NavRL/isaac-training
bash setup_deployment.sh

设置完成后，应会创建一个名为 NavRL 的 Conda 环境。您可以通过激活该环境来验证安装是否成功：

conda activate NavRL

III. NavRL ROS1 部署

本节演示了使用 ROS1 和 Gazebo，以四旋翼无人机为例部署 NavRL 的示例。请确保您的系统满足以下要求：

• Ubuntu 20.04 LTS
• ROS1 Noetic

首先，安装依赖项并将此仓库中的 ros1 文件夹复制到您的 catkin 工作空间。

sudo apt-get install ros-noetic-mavros*

cp -r ros1 /path/to/catkin_ws/src
catkin_make

然后，设置 Gazebo 模型的环境变量。

echo 'source /path/to/ros1/uav_simulator/gazeboSetup.bash' >> ~/.bashrc

请注意，环境变量应在 catkin_ws 内设置。例如，正确的 ~/.bashrc 脚本应该是 source ~/catkin_ws/src/ros1/uav_simulator/gazeboSetup.bash，而不是 source path/to/NavRL/ros1/uav_simulator/gazeboSetup.bash）。

最后，启动仿真并部署 NavRL 导航。

# 启动 Gazebo 模拟器
roslaunch uav_simulator start.launch

# 启动感知与安全模块
roslaunch navigation_runner safety_and_perception_sim.launch

# 运行导航节点
conda activate NavRL
rosrun navigation_runner navigation_node.py

Gazebo 窗口将显示环境，而 RViz 窗口则会呈现数据。使用 RViz 的 2D Nav Goal 工具设置导航目标，如下方视频所示（注意：默认环境和设置可能与视频不同）：

https://github.com/user-attachments/assets/b7cc7e2e-c01d-4e44-87e3-97271a3aaa0f

要更改环境设置，请查看 ros1/uav_simulator/launch/start.launch 中的启动文件。各模块的参数位于 ros1/navigation_runner/cfg/*.yaml 配置文件中。

IV. NavRL ROS2 部署

本节演示了使用 ROS2 和 Isaac Sim，以 Unitree Go2 四足机器人为例部署 NavRL 的示例。请确保您的系统满足以下要求：

• Ubuntu 22.04 LTS
• ROS2 Humble

在开始之前，请根据 此链接 安装模拟器。

首先，将此仓库中的 ros2 文件夹复制到您的 ROS2 工作空间。

cp -r ros2 /path/to/ros2_ws/src
colcon build --symlink-install

然后，启动仿真并部署 NavRL 导航。

# 启动 Isaac Go2 模拟器
conda activate isaaclab
cd /path/to/isaac-go2-ros2
python isaac-go2-ros2.py

# 启动感知和安全模块
ros2 launch navigation_runner perception.launch.py
ros2 launch navigation_runner safe_action.launch.py # 可选

# 打开 Rviz2 可视化
ros2 launch navigation_runner rviz.launch.py

# 运行导航启动
conda activate NavRL
ros2 launch navigation_runner navigation.launch.py

Isaac Sim 窗口将显示环境，而 RViz 窗口则会呈现数据。使用 RViz 的 2D Nav Goal 工具设置导航目标。导航示例如下视频所示：

https://github.com/user-attachments/assets/4787f503-d8a3-4d7b-9d17-7057b2cff1eb

请注意，如果您希望在配备 ros2 foxy 的真实机器人上部署，请切换到 ros2-foxy 分支。

git checkout ros2-foxy

V. 引用与参考文献

如果我们的工作对您的研究有所帮助，请考虑引用我们的论文。

@ARTICLE{NavRL,
  author={Xu, Zhefan and Han, Xinming and Shen, Haoyu and Jin, Hanyu and Shimada, Kenji},
  journal={IEEE Robotics and Automation Letters}, 
  title={NavRL: 在动态环境中学习安全飞行}, 
  year={2025},
  volume={10},
  number={4},
  pages={3668-3675},
  keywords={导航；机器人；避障；训练；安全；车辆动力学；启发式算法；探测器；自主飞行器；学习系统；空中系统：感知与自主性；强化学习；避障},
  doi={10.1109/LRA.2025.3546069}}

VI. 致谢

作者谨向 Kenji Shimada 教授表示诚挚的感谢，感谢他给予的大力支持，并感谢所有为本研究发展做出贡献的 CERLAB 无人机团队成员。

NavRL 框架中的 Isaac Sim 训练组件基于 OmniDrones 构建。

NavRL 快速上手指南

NavRL 是一个基于强化学习（RL）的框架，旨在让机器人（如无人机、四足机器人等）在动态环境中实现安全导航。本指南将帮助您快速配置环境并运行演示。

1. 环境准备

系统要求

• 操作系统: Ubuntu 20.04 LTS (ROS1) 或 Ubuntu 22.04 LTS (ROS2/Isaac Sim)
• Python: 3.10
• GPU: 推荐 NVIDIA RTX 系列（训练大规模场景需 RTX 4090）
• 模拟器版本: 必须使用 Isaac Sim 2023.1.0-hotfix.1（版本不匹配会导致错误）

前置依赖

• Conda: 确保已安装 Miniconda 或 Anaconda。
• Docker: 用于拉取特定版本的 Isaac Sim。
• ROS (可选):
  • ROS1 Noetic (Ubuntu 20.04)
  • ROS2 Humble (Ubuntu 22.04)

2. 安装步骤

第一步：获取特定版本的 Isaac Sim

由于官方不再直接提供旧版本下载，需通过 Docker 拉取并导出：

# 拉取指定版本的 Isaac Sim 镜像
docker pull nvcr.io/nvidia/isaac-sim:2023.1.0-hotfix.1

# 运行容器并挂载卷以持久化数据
docker run --name isaac-sim --entrypoint bash -it --runtime=nvidia --gpus all -e "ACCEPT_EULA=Y" --rm --network=host \
    -e "PRIVACY_CONSENT=Y" \
    -v ~/docker/isaac-sim/cache/kit:/isaac-sim/kit/cache:rw \
    -v ~/docker/isaac-sim/cache/ov:/root/.cache/ov:rw \
    -v ~/docker/isaac-sim/cache/pip:/root/.cache/pip:rw \
    -v ~/docker/isaac-sim/cache/glcache:/root/.cache/nvidia/GLCache:rw \
    -v ~/docker/isaac-sim/cache/computecache:/root/.nv/ComputeCache:rw \
    -v ~/docker/isaac-sim/logs:/root/.nvidia-omniverse/logs:rw \
    -v ~/docker/isaac-sim/data:/root/.local/share/ov/data:rw \
    -v ~/docker/isaac-sim/documents:/root/Documents:rw \
    nvcr.io/nvidia/isaac-sim:2023.1.0-hotfix.1

在另一个终端查看容器 ID 并复制文件到本地：

docker ps # 获取 <id_container>
docker cp <id_container>:isaac-sim/. /path/to/local/folder # 替换为绝对路径

第二步：配置 NavRL 环境

克隆仓库并设置环境变量：

# 设置 ISAACSIM_PATH 环境变量 (替换为您的实际路径)
echo 'export ISAACSIM_PATH="path/to/isaac_sim-2023.1.0-hotfix.1"' >> ~/.bashrc
source ~/.bashrc

# 进入项目目录并运行部署脚本
cd NavRL/isaac-training
bash setup_deployment.sh

注：如果您计划自行训练模型，请运行 bash setup.sh 而非 setup_deployment.sh。

验证安装：

conda activate NavRL

3. 基本使用

完成上述安装后，您可以直接运行三个预训练的快速演示，无需重新训练。

演示一：定点导航

导航至预设的目标点。

conda activate NavRL
cd NavRL/quick-demos
python simple-navigation.py

演示二：动态目标导航

导航至随机分配的动态目标点。

python random-navigation.py

演示三：多机器人协同导航

多个机器人在同一环境中进行避障导航。

python multi-robot-navigation.py

---

进阶：真实机器人部署 (简述)

若需在真实机器人或 Gazebo/Isaac Sim 中部署：

ROS1 (UAV + Gazebo):

# 安装依赖
sudo apt-get install ros-noetic-mavros*
cp -r ros1 /path/to/catkin_ws/src
catkin_make

# 设置环境变量 (确保路径指向 catkin_ws 内部)
echo 'source ~/catkin_ws/src/ros1/uav_simulator/gazeboSetup.bash' >> ~/.bashrc

# 启动
roslaunch uav_simulator start.launch
roslaunch navigation_runner safety_and_perception_sim.launch
conda activate NavRL
rosrun navigation_runner navigation_node.py

ROS2 (Unitree Go2 + Isaac Sim):

# 构建工作空间
cp -r ros2 /path/to/ros2_ws/src
colcon build --symlink-install

# 启动仿真与导航
conda activate isaaclab
cd /path/to/isaac-go2-ros2
python isaac-go2-ros2.py

ros2 launch navigation_runner perception.launch.py
conda activate NavRL
ros2 launch navigation_runner navigation.launch.py