Python中的强化学习

在移动机器人导航任务中，实现用于全局路径规划的强化学习（RL）算法。针对带有悬崖、老鼠和奶酪的环境，对比分析Q-learning和Sarsa算法。

相关工作：

• Sichkar V. N. “移动机器人全局路径规划中的强化学习算法”，2019年工业工程、应用与制造国际会议（ICIEAM），俄罗斯索契，2019年，第1–5页。doi: 10.1109/ICIEAM.2019.8742915（全文也可在此处获取：ResearchGate.net/profile/Valentyn_Sichkar）

• Sichkar V. N. 不同尺寸卷积层滤波器对交通标志分类准确率的影响。信息技术、力学与光学科学技术期刊，2019年，第19卷，第3期，英文版。doi: 10.17586/2226-1494-2019-19-3-546-552（全文也可在此处获取：https://www.researchgate.net/profile/Valentyn_Sichkar）

• Sichkar V.N. 基于知识的系统在未知环境中用于移动机器人导航及避障的比较分析。圣彼得堡国立理工大学学报：计算机科学、电信与控制系统，2018年，第11卷，第2期，第64–73页。doi: 10.18721/JCSTCS.11206（全文也可在此处获取：https://www.researchgate.net/profile/Valentyn_Sichkar）

• 关于用于避障任务的神经网络知识库系统的研究成果已单独存放在一个仓库中，地址为：https://github.com/sichkar-valentyn/Matlab_implementation_of_Neural_Networks

• 关于使用语义网语言OWL和RDF表示报警预警系统知识的研究成果也已单独存放在一个仓库中，地址为：https://github.com/sichkar-valentyn/Knowledge_Base_Represented_by_Semantic_Web_Language

• 关于用于自动驾驶汽车和机器人技术中的计算机视觉神经网络的研究成果同样单独存放于一个仓库中，地址为：https://github.com/sichkar-valentyn/Neural_Networks_for_Computer_Vision

描述

用Python实现的RL算法，用于移动机器人的全局路径规划任务。此类系统具有反馈机制：智能体作用于环境，环境也反过来作用于智能体。在每一步中，智能体：

• 执行动作。
• 接收观测（新状态）。
• 获得奖励。

而环境则：

• 接收动作。
• 发出观测（新状态）。
• 发出奖励。

目标是学会如何采取行动以最大化奖励。目标函数如下：

Q_[s_, a_] = Q[s, a] + λ * (r + γ * max(Q_[s_, a_]) – Q[s, a]),

其中，
Q_[s_, a_] - 下一步的目标函数值，
Q[s, a] - 当前位置的目标函数值，
max(Q_[s_, a_]) – Q[s, a]) - 从所有可能的下一步中选择最大值，
s – 智能体的当前位置，
a – 当前动作，
λ – 学习率，
r – 当前位置获得的奖励，
γ – gamma（奖励衰减因子、折扣系数），
s_ - 根据下一步动作选定的新位置，
a_ - 下一步选定的动作。

强化学习方法的核心组件是权重表——系统状态的Q-table。Q矩阵包含了系统所有可能的状态以及系统对不同动作的响应权重。在尝试穿越给定环境的过程中，移动机器人学会如何避开障碍物并找到通往目标点的路径。最终会构建出Q-table。通过查看表格中的数值，可以确定智能体（即移动机器人）下一步应采取的动作。

下面展示了不同环境下的实验结果，并进行了说明。
代码附有大量注释，将逐步引导您完成整个实现思路。

每个示例由三个文件组成：

• env.py - 构建包含障碍物的环境。
• agent_brain.py - 实现算法本身。
• run_agent.py - 运行实验。

内容

代码（点击后将跳转到相应文件夹）：

• RL_Q-Learning_E-1.py
• RL_Q-Learning_E-2.py
• RL_Q-Learning_E-3.py
• RL_Sarsa_E-1.py
• RL_Sarsa_E-2.py

实验结果（本页包含图表）：

• RL Q-Learning 环境-1 实验结果
• 环境-1下Q-learning算法的结果图
• 环境-1最终最短路径对应的Q-table
• RL Q-Learning 环境-2 实验结果
• 环境-2下Q-learning算法的结果图
• 环境-1最终最短路径对应的Q-table
• RL Q-Learning 环境-3 实验结果
• Q-learning和Sarsa算法的对比分析

RL Q-Learning 环境-1 实验结果

环境-1包含移动机器人、目标点和障碍物

环境-1下Q-learning算法的结果图

展示了每集的步数以及每集的成本

环境-1 中最终最短路径对应的 Q 表

观察表格中的值，我们可以看出智能体（移动机器人）对下一步动作的决策。在 Q 表被知识填充后，到达目标的最终动作序列如下：下-右-下-下-下-右-下-右-下-右-下-下-右-右-上-上。
在使用 Q 学习算法的实验中，环境-1 中找到的到达目标的最短路径由 16 步组成，而找到的最长路径则由 185 步组成。

RL Q 学习 环境-2. 实验结果

更大的环境-2，障碍物更多

Q 学习算法在环境-2 上的结果图表

分别展示了以步数表示的迭代次数以及每轮迭代的成本

环境-1 中最终最短路径对应的 Q 表

RL Q 学习 环境-3. 实验结果

超级复杂的环境-3，障碍物极多

Q 学习与 Sarsa 算法的对比分析

MIT 许可证

版权所有 © 2018 瓦伦丁·N·西奇卡尔

github.com/sichkar-valentyn

引用自：

瓦伦丁·N·西奇卡尔. 用于全局路径规划的强化学习算法 // GitHub 平台. DOI: 10.5281/zenodo.1317898

Reinforcement_Learning_in_Python 快速上手指南

本项目使用 Python 实现了强化学习（RL）算法，主要用于移动机器人的全局路径规划任务。通过 Q-learning 和 Sarsa 算法，让智能体在包含悬崖、老鼠和奶酪等障碍的环境中学习最优路径。

环境准备

• 操作系统: Windows, macOS 或 Linux
• Python 版本: 推荐 Python 3.6 及以上版本
• 前置依赖:
  • numpy: 用于数值计算
  • matplotlib: 用于绘制训练结果图表
  • pandas (可选): 用于数据处理

确保已安装 Python 和 pip。国内用户建议使用清华源或阿里源加速依赖安装。

安装步骤

1. 克隆项目仓库

   git clone https://github.com/sichkar-valentyn/Reinforcement_Learning_in_Python.git
   cd Reinforcement_Learning_in_Python
   

2. 安装依赖库 如果项目中包含 requirements.txt，请直接运行：

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

   若没有该文件，请手动安装核心依赖：

   pip install numpy matplotlib -i https://pypi.tuna.tsinghua.edu.cn/simple
   

基本使用

本项目每个实验示例通常由三个核心文件组成：

• _env.py: 构建包含障碍物的环境。
• _agent_brain.py: 实现具体的强化学习算法（Q-Learning 或 Sarsa）。
• _run_agent.py: 运行实验的主脚本。

运行示例：环境 1 (Q-Learning)

以最基础的 Environment-1 为例，进入对应文件夹并运行主程序：

cd RL_Q-Learning_E1
python run_agent.py

运行说明：

• 脚本启动后，程序将开始训练智能体（移动机器人）。
• 训练过程中会实时打印每一步的奖励（reward）和状态更新。
• 训练结束后，会自动生成图表（显示步数/成本随回合数的变化）并输出最终的 Q-table。
• 根据生成的 Q-table，智能体将能够规划出从起点到终点的最短路径（例如：down-right-down...）。

其他可用示例

你可以切换目录体验不同复杂度环境或不同算法：

• 更复杂的环境 (Q-Learning):

  cd ../RL_Q-Learning_E2
  python run_agent.py
  

  cd ../RL_Q-Learning_E3
  python run_agent.py
  

• Sarsa 算法对比:

  cd ../RL_Sarsa_E1
  python run_agent.py
  

代码中包含大量注释，阅读 _agent_brain.py 可深入理解算法核心逻辑及贝尔曼方程的实现细节。