RLGF

RLGF是一个适用于无人机深度强化学习任务的通用训练框架，构建了适用于无人机任务的动作模型，包括连续飞行动作与离散飞行动作。预置了飞行能量消耗模型与航线规划模型。能够根据自身任务自定义任务环境模型与无人机模型。并集成了多种主流的深度强化学习算法。

• 自定义开发： 该框架以配置XML文件的形式制定无人机强化学习任务，隐藏了深度强化学习过程的过程。仅需要重写环境模型与无人机模型中特定的函数，便能快速实现自定义无人机任务的开发。
• 多算法集成： 集成了主流的强化学习算法如DQN、AC、DDQN、DuelingDQN、PPO、SAC、DDPG，仅需通过配置XML文件即可快速更换任务所需算法进行训练。
• 无人机参数自定义： 能够根据XML文件配置无人机的性能参数，包括加速度、动作更新函数、状态空间函数、APF动态避障模式是否启用、初始坐标、最大/最小速度、最大转向角、最大任务时间步长、子任务粒度、飞行功耗参数（不同速度下无人机的飞行功耗不同）、通信功率等。也支持自定义无人机参数并载入进自定义的无人机模型。
• 训练日志支持: 能够将训练过程中的参数以csv的形式保存在logs文件夹下（需自定义保存形式）。
• 多维度无人机轨迹结果可视化：每轮任务迭代后将生成轨迹以HTML的形式保存在/DataBase/experience目录下。若本地或者服务器配置有MySQL数据库，可以通过提供的接口将航线数据存放到数据库中，并通过PathViewer的java后端项目实现每次迭代任务的无人机轨迹动态可视化。
• 支持私密消息： 服务端能够通过特定指令向公屏发送指定用户可见的私密消息，可用于文字交互游戏的角色分发。

开发环境

• 训练环境： Python 3.9.7, Pytorch 1.11.0.
• 可视化平台： jdk 17, Spring 6.15, maven, MySQL 10.3.19.

引用

• 内置算法均改自《动手学强化学习》中的代码。github链接：https://github.com/boyu-ai/Hands-on-RL

项目目录简介

• RLGF/
  • README.md
  • requirements.txt
  • Agents/    #智能体模型所在目录，存放无人机或其他有关的智能体模型
  • BaseClass/    #存放基本的模型基类，以及通用计算工具
  • config/
    • buildings.xml    #环境中的建筑物配置文件。
    • DB.xml    #数据库配置，若无数据库，可以忽略。
    • PathPlan_City.xml    #案例环境模型的配置文件，定义了1个UAV在建筑群中执行航线规划任务。
    • Trainer.xmll    #所采用的训练器的配置文件。
    • UAV.xml    #案例无人机配置文件，定义了UAV在轨迹规划任务中的相关配置。
    • UI.xml    #PyEchart配置文件，不建议更改。
  • DataBase/
    • experience/    #以html的形式存放无人机的轨迹结果（静态）。
    • Connector.py    #提供连接数据库的功能。
  • Env/    #存放环境模型类。
  • FactoryClass/    #对应的工厂类。
  • logs/    #存放运行日志。
  • Mod/    #存放神经网络模型。
  • Obstacles/    #存放自定义的障碍物类。
  • Trainer/    #存放已经实现的强化学习算法训练器。
  • simulator.py    #训练器启动器。

基本使用案例

模型训练：

修改案例环境配置文件PathPlan_City。

<simulator>
    <env>
        <Env_Type>PathPlan_City</Env_Type>   <!-- 自定义环境模型名称，与py文件名一致-->
        <len>500</len>  <!-- 环境规划空间长度-->
        <width>500</width>  <!-- 环境规划空间宽度-->
        <h>100</h>  <!-- 环境规划空间高度-->
        <eps>0.1</eps>  <!-- epslon最小贪心概率-->
        <Is_AC>0</Is_AC> 
        <Is_FL>0</Is_FL>   <!-- 是否启用联邦学习进行分布式训练（需要多个智能体）-->
        <Is_On_Policy>0</Is_On_Policy> 
        <FL_Loop>3</FL_Loop> 
        <print_loop>2</print_loop>
        <num_UAV>1</num_UAV> <!-- 无人机数目-->
        <Agent>
            <xml_path_agent>./config/UAV.xml</xml_path_agent>   <!-- 案例无人机的配置文件-->
            <Trainer>
                <Trainer_path>./config/Trainer.xml</Trainer_path>  <!-- 训练器的配置文件-->
            </Trainer>
        </Agent>
        <Obstacles>
            <buildings>./config/buildings.xml</buildings>  <!-- 建筑物分布的配置文件-->
        </Obstacles>
        <UI>
            <UI_path>./config/UI.xml</UI_path>
        </UI>
        <DB>
            <DB_path>./config/DB.xml</DB_path>  <!-- 数据库配置文件-->
        </DB>
    </env>
    <record_epo>10</record_epo> 
    <num_episodes>500</num_episodes>   <!-- 迭iter次数-->
    <max_eps_episode>1</max_eps_episode>
    <min_eps>0.1</min_eps>
    <TARGET_UPDATE>3</TARGET_UPDATE>
</simulator>

运行simulator.py文件，即可启动训练过程。支持断点训练。每次运行会在/logs生成一个日志，可以查看每轮次训练的得分详情。并在/DataBase/experience目录下生成无人机轨迹。

训练过程：

每个训练轮次生成的静态轨迹HTML

基于cesium的训练过程动态可视化

DQN-based-UAV-3D_path_planer (RLGF) 快速上手指南

RLGF 是一个专为无人机（UAV）深度强化学习任务设计的通用训练框架。它支持连续与离散飞行动作，内置能量消耗与航线规划模型，并集成了 DQN、PPO、SAC、DDPG 等多种主流强化学习算法。用户仅需通过 XML 配置即可自定义任务环境、无人机参数及训练算法。

1. 环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux / Windows / macOS
• Python 版本: 3.9.7 (推荐)
• PyTorch 版本: 1.11.0
• 可选可视化组件 (如需动态轨迹可视化):
  • JDK 17 / 1.8
  • Maven
  • MySQL 10.3.19

前置依赖安装

建议使用国内镜像源加速依赖下载。

# 创建虚拟环境 (可选但推荐)
python -m venv rl_env
source rl_env/bin/activate  # Linux/Mac
# rl_env\Scripts\activate   # Windows

# 安装 Python 依赖 (使用清华源加速)
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

注意: 若 requirements.txt 未指定具体 PyTorch 版本，请手动安装兼容版本：

pip install torch==1.11.0 torchvision==0.12.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 项目结构概览

克隆项目后，主要目录结构如下：

• config/: 核心配置目录，包含环境 (PathPlan_City.xml)、无人机 (UAV.xml)、训练器 (Trainer.xml) 及障碍物配置。
• Agents/: 智能体模型代码。
• Env/: 环境模型类。
• Trainer/: 集成各类强化学习算法的训练器。
• simulator.py: 训练启动入口脚本。
• logs/: 训练日志输出目录 (CSV 格式)。
• DataBase/experience/: 生成的静态轨迹 HTML 文件。

3. 基本使用

步骤一：配置任务

修改 config/PathPlan_City.xml 文件以定义您的训练任务。关键参数说明如下：

<simulator>
    <env>
        <!-- 指定环境模型名称，需与 Env 文件夹下的 py 文件名一致 -->
        <Env_Type>PathPlan_City</Env_Type>
        
        <!-- 环境空间尺寸 (长/宽/高) -->
        <len>500</len>
        <width>500</width>
        <h>100</h>
        
        <!-- 无人机数量 -->
        <num_UAV>1</num_UAV>
        
        <Agent>
            <!-- 无人机参数配置文件路径 -->
            <xml_path_agent>./config/UAV.xml</xml_path_agent>
            <Trainer>
                <!-- 训练算法配置文件路径 (可在此切换 DQN, PPO, SAC 等) -->
                <Trainer_path>./config/Trainer.xml</Trainer_path>
            </Trainer>
        </Agent>
        
        <!-- 障碍物/建筑物配置 -->
        <Obstacles>
            <buildings>./config/buildings.xml</buildings>
        </Obstacles>
    </env>
    
    <!-- 训练超参数 -->
    <record_epo>10</record_epo>          <!-- 每多少轮保存一次轨迹 -->
    <num_episodes>500</num_episodes>     <!-- 总迭代次数 -->
    <TARGET_UPDATE>3</TARGET_UPDATE>     <!-- 目标网络更新频率 -->
</simulator>

• 切换算法: 编辑 config/Trainer.xml 即可在 DQN, DDQN, PPO, SAC, DDPG 等算法间无缝切换，无需修改代码。
• 自定义无人机: 编辑 config/UAV.xml 可调整最大速度、转向角、功耗模型等物理参数。

步骤二：启动训练

在项目根目录下运行模拟器脚本：

python simulator.py

步骤三：查看结果

训练开始后，系统将自动执行以下操作：

1. 日志记录: 训练得分与参数将实时保存至 logs/ 目录下的 CSV 文件中。
2. 轨迹生成: 每经过 <record_epo> 设定的轮次，无人机的飞行轨迹将以 HTML 形式保存在 DataBase/experience/ 目录。
3. 断点续训: 框架支持断点训练，再次运行命令时可自动加载已有模型继续训练。

您可以直接在浏览器中打开 DataBase/experience/ 下生成的 .html 文件，查看静态的三维飞行轨迹可视化结果。

提示: 若需体验基于 Cesium 的动态轨迹可视化，需额外配置 MySQL 数据库及 Java 后端项目 (PathViewer)，并将 config/DB.xml 指向有效的数据库连接。