README

这是一个关于无人机自主避障的深度强化学习算法项目。整个项目分为静态环境下的避障和动态环境下的避障两部分。在静态环境中，我们结合了多智能体强化学习和人工势场算法；而在动态环境中，则采用了扰动流场算法与单智能体强化学习算法的结合。

由于这是我的本科毕业设计，学术水平有限，当时我还撰写了一篇会议论文，论文地址如下：基于深度强化学习框架的自适应干扰流场系统算法

静态环境

针对静态环境，我们提供了四种解决方案：

1. MADDPG
2. 完全中心化DDPG
3. 完全去中心化DDPG
4. 完全中心化TD3

其中，第三种和第四种方法表现优于其他方法。

动态环境

对于动态环境，我们也提出了四种解决方法：

1. PPO+GAE（多进程版）
2. TD3
3. DDPG
4. SAC

前三种方法的效果相差不大，不过PPO收敛所需的训练轮次较少。TD3和DDPG则收敛速度较快。尽管Soft Actor-Critic是强化学习领域中非常优秀的算法，但在我们的实验环境中并未展现出明显优势。

传统无人机路径规划方法

我们使用MATLAB实现了三种传统路径规划算法：

1. A*搜索算法
2. RRT算法
3. 蚁群算法

此外，还用C++实现了一个经典的D*算法。

实验结果表明，A*搜索算法的表现远超其他传统方法，但仍然不及强化学习路径规划的效果。

人工势场算法

本项目提供了人工势场算法的MATLAB和Python实现。

Python实现：./APF/APFPy2.py ./APF/APFPy3.py ./APF/ApfAlgorithm.py （二维和三维）

MATLAB实现：./APF/APF_matlab （二维）

IFDS与IIFDS算法

这是一种基于流场的避障规划算法，我们用MATLAB进行了实现，代码位于IIFDS_and_IFDS文件夹中。

如何开始训练

以使用TD3算法在动态环境中训练智能体为例，您只需依次运行以下脚本：main.py、test.py，最后打开MATLAB并运行test.m进行绘图即可。

如果您想在包含4个障碍物的环境中测试模型，只需运行Multi_obstacle_environment_test.py即可。

依赖库

numpy
torch
matplotlib
seaborn==0.11.1

相关文件说明

calGs.m：计算指标Gs，用于评估路径性能。

calLs.m：计算指标Ls，用于评估路径性能。

draw.py：该文件包含Painter类，可用于绘制不同方法的奖励曲线。

config.py：该文件定义了训练过程中的一些参数设置，如MAX_EPISODE、batch_size等。

Method.py：该文件包含了多种重要方法，例如如何计算智能体的奖励。

static_obstacle_environment.py：该文件定义了多个静态障碍物环境的参数。

dynamic_obstacle_environment.py：该文件定义了多个动态障碍物环境的参数。

Multi_obstacle_environment_test.py：该文件用于在dynamic_obstacle_environment.py中定义的动态环境中测试模型。

data_csv：该文件保存了一些数据，例如无人机的轨迹和训练过程中的奖励值。

AntColonybenchmark.m：MATLAB实现的蚁群算法。

Astarbenchmark.m：MATLAB实现的A*算法。

RRTbenchmark.m：MATLAB实现的RRT算法。

简单仿真示例

• 

星标历史

• 

版权所有。

UAV_Obstacle_Avoiding_DRL 快速上手指南

本项目是一个基于深度强化学习（DRL）的无人机（UAV）自主避障算法库，涵盖静态环境（多智能体强化学习 + 人工势场法）和动态环境（干扰流场算法 + 单智能体强化学习）两种场景。

环境准备

系统要求

• 操作系统: Linux / macOS / Windows
• 编程语言: Python 3.x
• 可视化工具: MATLAB (用于部分传统算法对比及结果绘图)

前置依赖

项目主要依赖以下 Python 库：

• numpy
• torch
• matplotlib
• seaborn (版本需为 0.11.1)

建议国内开发者使用清华源或阿里源加速安装。

安装步骤

1. 克隆项目代码

   git clone https://github.com/你的仓库地址/UAV_Obstacle_Avoiding_DRL.git
   cd UAV_Obstacle_Avoiding_DRL
   

2. 安装 Python 依赖 推荐使用国内镜像源安装：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   或者手动安装指定版本：

   pip install numpy torch matplotlib seaborn==0.11.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. MATLAB 环境配置（可选） 若需运行传统算法对比（A*, RRT, 蚁群算法）或绘制特定结果图，请确保本地已安装 MATLAB，并将项目中的 .m 文件所在文件夹添加到 MATLAB 路径中。

基本使用

以下以动态环境下使用 TD3 算法进行训练和测试为例：

1. 训练模型

运行主训练脚本：

python main.py

注：具体使用的算法和环境类型可在 config.py 中配置参数（如 MAX_EPISODE, batch_size 等）。

2. 测试模型

训练完成后，运行测试脚本验证模型效果：

python test.py

3. 可视化结果

打开 MATLAB，运行绘图脚本以生成奖励曲线或轨迹图：

test.m

或者使用 Python 绘图工具查看奖励曲线：

python draw.py

4. 多障碍物场景测试

若需在包含 4 个障碍物的动态环境中测试模型，直接运行：

python Multi_obstacle_environment_test.py

其他场景说明

• 静态环境: 支持 MADDPG, Centralized DDPG, Decentralized DDPG, Centralized TD3 等方法，参数在 static_obstacle_environment.py 中配置。
• 人工势场法 (APF): Python 实现位于 ./APF/ 目录，MATLAB 实现位于 ./APF/APF_matlab。
• 流场算法 (IFDS/IIFDS): 代码位于 IIFDS_and_IFDS 文件夹，需通过 MATLAB 运行。