[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-young-how--DQN-based-UAV-3D_path_planer":3,"tool-young-how--DQN-based-UAV-3D_path_planer":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",154349,2,"2026-04-13T23:32:16",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":75,"owner_twitter":75,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":88,"difficulty_score":89,"env_os":90,"env_gpu":90,"env_ram":90,"env_deps":91,"category_tags":97,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":99,"updated_at":100,"faqs":101,"releases":117},7304,"young-how\u002FDQN-based-UAV-3D_path_planer","DQN-based-UAV-3D_path_planer","RLGF is a general training framework suitable for UAV deep reinforcement learning tasks. And integrates multiple mainstream deep reinforcement learning algorithms(SAC, DQN, DDQN, PPO, Dueling DQN, DDPG).","RLGF 是一个专为无人机深度强化学习打造的通用训练框架，旨在简化复杂的三维路径规划任务。它有效解决了研究人员在开发无人机智能决策系统时，面临的环境建模繁琐、算法切换困难以及轨迹可视化不便等痛点。\n\n该工具非常适合从事无人机控制算法研究的科研人员、高校学生以及相关领域的开发者使用。其核心亮点在于高度的灵活性与集成度：用户只需通过简单的 XML 配置文件，即可自定义无人机的物理参数（如速度、能耗、转向角）及任务环境，无需深入底层代码便能快速构建专属实验场景。框架内置了 DQN、PPO、SAC、DDPG 等多种主流深度强化学习算法，支持一键切换对比不同模型效果。此外，RLGF 还提供了强大的可视化支持，能自动生成 HTML 格式的飞行轨迹图，并可选配数据库实现动态三维演示，让训练过程与结果一目了然。无论是验证新算法还是进行教学演示，RLGF 都能提供高效、专业的技术支持。","# RLGF  ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fjdk-1.8%2F17-green) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.97-blue) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FMySQL-10.3.19-red) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPytorch-1.11.0-lightgreen) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-SAC-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DQN-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DDPG-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DDQN-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-PPO-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-AC-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DuelingDQN-yellow)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_4e5d8999d917.png)\n\nRLGF是一个适用于无人机深度强化学习任务的通用训练框架，构建了适用于无人机任务的动作模型，包括连续飞行动作与离散飞行动作。预置了飞行能量消耗模型与航线规划模型。能够根据自身任务自定义任务环境模型与无人机模型。并集成了多种主流的深度强化学习算法。\n+ 自定义开发： 该框架以配置XML文件的形式制定无人机强化学习任务，隐藏了深度强化学习过程的过程。仅需要重写环境模型与无人机模型中特定的函数，便能快速实现自定义无人机任务的开发。\n+ 多算法集成： 集成了主流的强化学习算法如DQN、AC、DDQN、DuelingDQN、PPO、SAC、DDPG，仅需通过配置XML文件即可快速更换任务所需算法进行训练。\n+ 无人机参数自定义： 能够根据XML文件配置无人机的性能参数，包括加速度、动作更新函数、状态空间函数、APF动态避障模式是否启用、初始坐标、最大\u002F最小速度、最大转向角、最大任务时间步长、子任务粒度、飞行功耗参数（不同速度下无人机的飞行功耗不同）、通信功率等。也支持自定义无人机参数并载入进自定义的无人机模型。\n+ 训练日志支持: 能够将训练过程中的参数以csv的形式保存在logs文件夹下（需自定义保存形式）。\n+ 多维度无人机轨迹结果可视化：每轮任务迭代后将生成轨迹以HTML的形式保存在\u002FDataBase\u002Fexperience目录下。若本地或者服务器配置有MySQL数据库，可以通过提供的接口将航线数据存放到数据库中，并通过PathViewer的java后端项目实现每次迭代任务的无人机轨迹动态可视化。\n+ 支持私密消息： 服务端能够通过特定指令向公屏发送指定用户可见的私密消息，可用于文字交互游戏的角色分发。\n\n## 开发环境\n+ 训练环境： Python 3.9.7, Pytorch 1.11.0.\n+ 可视化平台： jdk 17, Spring 6.15, maven, MySQL 10.3.19.\n\n## 引用\n+ 内置算法均改自《动手学强化学习》中的代码。github链接：https:\u002F\u002Fgithub.com\u002Fboyu-ai\u002FHands-on-RL\n\n## 项目目录简介\n\n- RLGF\u002F\n  - README.md\n  - requirements.txt\n  - Agents\u002F        #智能体模型所在目录，存放无人机或其他有关的智能体模型\n  - BaseClass\u002F    #存放基本的模型基类，以及通用计算工具\n  - config\u002F\n    - buildings.xml     #环境中的建筑物配置文件。\n    - DB.xml     #数据库配置，若无数据库，可以忽略。\n    - PathPlan_City.xml    #案例环境模型的配置文件，定义了1个UAV在建筑群中执行航线规划任务。\n    - Trainer.xmll    #所采用的训练器的配置文件。\n    - UAV.xml    #案例无人机配置文件，定义了UAV在轨迹规划任务中的相关配置。\n    - UI.xml    #PyEchart配置文件，不建议更改。\n  - DataBase\u002F\n    - experience\u002F      #以html的形式存放无人机的轨迹结果（静态）。\n    - Connector.py    #提供连接数据库的功能。\n  - Env\u002F     #存放环境模型类。\n  - FactoryClass\u002F     #对应的工厂类。\n  - logs\u002F    #存放运行日志。\n  - Mod\u002F     #存放神经网络模型。\n  - Obstacles\u002F     #存放自定义的障碍物类。\n  - Trainer\u002F     #存放已经实现的强化学习算法训练器。\n  - simulator.py    #训练器启动器。\n\n\n## 基本使用案例\n\n### 模型训练：\n\n修改案例环境配置文件PathPlan_City。\n```\n\u003Csimulator>\n    \u003Cenv>\n        \u003CEnv_Type>PathPlan_City\u003C\u002FEnv_Type>   \u003C!-- 自定义环境模型名称，与py文件名一致-->\n        \u003Clen>500\u003C\u002Flen>  \u003C!-- 环境规划空间长度-->\n        \u003Cwidth>500\u003C\u002Fwidth>  \u003C!-- 环境规划空间宽度-->\n        \u003Ch>100\u003C\u002Fh>  \u003C!-- 环境规划空间高度-->\n        \u003Ceps>0.1\u003C\u002Feps>  \u003C!-- epslon最小贪心概率-->\n        \u003CIs_AC>0\u003C\u002FIs_AC> \n        \u003CIs_FL>0\u003C\u002FIs_FL>   \u003C!-- 是否启用联邦学习进行分布式训练（需要多个智能体）-->\n        \u003CIs_On_Policy>0\u003C\u002FIs_On_Policy> \n        \u003CFL_Loop>3\u003C\u002FFL_Loop> \n        \u003Cprint_loop>2\u003C\u002Fprint_loop>\n        \u003Cnum_UAV>1\u003C\u002Fnum_UAV> \u003C!-- 无人机数目-->\n        \u003CAgent>\n            \u003Cxml_path_agent>.\u002Fconfig\u002FUAV.xml\u003C\u002Fxml_path_agent>   \u003C!-- 案例无人机的配置文件-->\n            \u003CTrainer>\n                \u003CTrainer_path>.\u002Fconfig\u002FTrainer.xml\u003C\u002FTrainer_path>  \u003C!-- 训练器的配置文件-->\n            \u003C\u002FTrainer>\n        \u003C\u002FAgent>\n        \u003CObstacles>\n            \u003Cbuildings>.\u002Fconfig\u002Fbuildings.xml\u003C\u002Fbuildings>  \u003C!-- 建筑物分布的配置文件-->\n        \u003C\u002FObstacles>\n        \u003CUI>\n            \u003CUI_path>.\u002Fconfig\u002FUI.xml\u003C\u002FUI_path>\n        \u003C\u002FUI>\n        \u003CDB>\n            \u003CDB_path>.\u002Fconfig\u002FDB.xml\u003C\u002FDB_path>  \u003C!-- 数据库配置文件-->\n        \u003C\u002FDB>\n    \u003C\u002Fenv>\n    \u003Crecord_epo>10\u003C\u002Frecord_epo> \n    \u003Cnum_episodes>500\u003C\u002Fnum_episodes>   \u003C!-- 迭代次数-->\n    \u003Cmax_eps_episode>1\u003C\u002Fmax_eps_episode>\n    \u003Cmin_eps>0.1\u003C\u002Fmin_eps>\n    \u003CTARGET_UPDATE>3\u003C\u002FTARGET_UPDATE>\n\u003C\u002Fsimulator>\n```\n\n运行simulator.py文件，即可启动训练过程。支持断点训练。每次运行会在\u002Flogs生成一个日志，可以查看每轮次训练的得分详情。并在\u002FDataBase\u002Fexperience目录下生成无人机轨迹。\n\n训练过程：\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_b8b204540542.gif)\n\n每个训练轮次生成的静态轨迹HTML\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_cf8cdb746ab0.png)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_7a7d7c20dcda.png)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_53b0a71777c8.png)\n\n基于cesium的训练过程动态可视化\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_992fb8b0a55e.png)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_909e157f1667.gif)\n","# RLGF  ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-MIT-blue) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fjdk-1.8%2F17-green) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fpython-3.97-blue) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FMySQL-10.3.19-red) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPytorch-1.11.0-lightgreen) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-SAC-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DQN-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DDPG-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DDQN-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-PPO-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-AC-yellow) ![](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-DuelingDQN-yellow)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_4e5d8999d917.png)\n\nRLGF是一个适用于无人机深度强化学习任务的通用训练框架，构建了适用于无人机任务的动作模型，包括连续飞行动作与离散飞行动作。预置了飞行能量消耗模型与航线规划模型。能够根据自身任务自定义任务环境模型与无人机模型。并集成了多种主流的深度强化学习算法。\n+ 自定义开发： 该框架以配置XML文件的形式制定无人机强化学习任务，隐藏了深度强化学习过程的过程。仅需要重写环境模型与无人机模型中特定的函数，便能快速实现自定义无人机任务的开发。\n+ 多算法集成： 集成了主流的强化学习算法如DQN、AC、DDQN、DuelingDQN、PPO、SAC、DDPG，仅需通过配置XML文件即可快速更换任务所需算法进行训练。\n+ 无人机参数自定义： 能够根据XML文件配置无人机的性能参数，包括加速度、动作更新函数、状态空间函数、APF动态避障模式是否启用、初始坐标、最大\u002F最小速度、最大转向角、最大任务时间步长、子任务粒度、飞行功耗参数（不同速度下无人机的飞行功耗不同）、通信功率等。也支持自定义无人机参数并载入进自定义的无人机模型。\n+ 训练日志支持: 能够将训练过程中的参数以csv的形式保存在logs文件夹下（需自定义保存形式）。\n+ 多维度无人机轨迹结果可视化：每轮任务迭代后将生成轨迹以HTML的形式保存在\u002FDataBase\u002Fexperience目录下。若本地或者服务器配置有MySQL数据库，可以通过提供的接口将航线数据存放到数据库中，并通过PathViewer的java后端项目实现每次迭代任务的无人机轨迹动态可视化。\n+ 支持私密消息： 服务端能够通过特定指令向公屏发送指定用户可见的私密消息，可用于文字交互游戏的角色分发。\n\n## 开发环境\n+ 训练环境： Python 3.9.7, Pytorch 1.11.0.\n+ 可视化平台： jdk 17, Spring 6.15, maven, MySQL 10.3.19.\n\n## 引用\n+ 内置算法均改自《动手学强化学习》中的代码。github链接：https:\u002F\u002Fgithub.com\u002Fboyu-ai\u002FHands-on-RL\n\n## 项目目录简介\n\n- RLGF\u002F\n  - README.md\n  - requirements.txt\n  - Agents\u002F        #智能体模型所在目录，存放无人机或其他有关的智能体模型\n  - BaseClass\u002F    #存放基本的模型基类，以及通用计算工具\n  - config\u002F\n    - buildings.xml     #环境中的建筑物配置文件。\n    - DB.xml     #数据库配置，若无数据库，可以忽略。\n    - PathPlan_City.xml    #案例环境模型的配置文件，定义了1个UAV在建筑群中执行航线规划任务。\n    - Trainer.xmll    #所采用的训练器的配置文件。\n    - UAV.xml    #案例无人机配置文件，定义了UAV在轨迹规划任务中的相关配置。\n    - UI.xml    #PyEchart配置文件，不建议更改。\n  - DataBase\u002F\n    - experience\u002F      #以html的形式存放无人机的轨迹结果（静态）。\n    - Connector.py    #提供连接数据库的功能。\n  - Env\u002F     #存放环境模型类。\n  - FactoryClass\u002F     #对应的工厂类。\n  - logs\u002F    #存放运行日志。\n  - Mod\u002F     #存放神经网络模型。\n  - Obstacles\u002F     #存放自定义的障碍物类。\n  - Trainer\u002F     #存放已经实现的强化学习算法训练器。\n  - simulator.py    #训练器启动器。\n\n\n## 基本使用案例\n\n### 模型训练：\n\n修改案例环境配置文件PathPlan_City。\n```\n\u003Csimulator>\n    \u003Cenv>\n        \u003CEnv_Type>PathPlan_City\u003C\u002FEnv_Type>   \u003C!-- 自定义环境模型名称，与py文件名一致-->\n        \u003Clen>500\u003C\u002Flen>  \u003C!-- 环境规划空间长度-->\n        \u003Cwidth>500\u003C\u002Fwidth>  \u003C!-- 环境规划空间宽度-->\n        \u003Ch>100\u003C\u002Fh>  \u003C!-- 环境规划空间高度-->\n        \u003Ceps>0.1\u003C\u002Feps>  \u003C!-- epslon最小贪心概率-->\n        \u003CIs_AC>0\u003C\u002FIs_AC> \n        \u003CIs_FL>0\u003C\u002FIs_FL>   \u003C!-- 是否启用联邦学习进行分布式训练（需要多个智能体）-->\n        \u003CIs_On_Policy>0\u003C\u002FIs_On_Policy> \n        \u003CFL_Loop>3\u003C\u002FFL_Loop> \n        \u003Cprint_loop>2\u003C\u002Fprint_loop>\n        \u003Cnum_UAV>1\u003C\u002Fnum_UAV> \u003C!-- 无人机数目-->\n        \u003CAgent>\n            \u003Cxml_path_agent>.\u002Fconfig\u002FUAV.xml\u003C\u002Fxml_path_agent>   \u003C!-- 案例无人机的配置文件-->\n            \u003CTrainer>\n                \u003CTrainer_path>.\u002Fconfig\u002FTrainer.xml\u003C\u002FTrainer_path>  \u003C!-- 训练器的配置文件-->\n            \u003C\u002FTrainer>\n        \u003C\u002FAgent>\n        \u003CObstacles>\n            \u003Cbuildings>.\u002Fconfig\u002Fbuildings.xml\u003C\u002Fbuildings>  \u003C!-- 建筑物分布的配置文件-->\n        \u003C\u002FObstacles>\n        \u003CUI>\n            \u003CUI_path>.\u002Fconfig\u002FUI.xml\u003C\u002FUI_path>\n        \u003C\u002FUI>\n        \u003CDB>\n            \u003CDB_path>.\u002Fconfig\u002FDB.xml\u003C\u002FDB_path>  \u003C!-- 数据库配置文件-->\n        \u003C\u002FDB>\n    \u003C\u002Fenv>\n    \u003Crecord_epo>10\u003C\u002Frecord_epo> \n    \u003Cnum_episodes>500\u003C\u002Fnum_episodes>   \u003C!-- 迭iter次数-->\n    \u003Cmax_eps_episode>1\u003C\u002Fmax_eps_episode>\n    \u003Cmin_eps>0.1\u003C\u002Fmin_eps>\n    \u003CTARGET_UPDATE>3\u003C\u002FTARGET_UPDATE>\n\u003C\u002Fsimulator>\n```\n\n运行simulator.py文件，即可启动训练过程。支持断点训练。每次运行会在\u002Flogs生成一个日志，可以查看每轮次训练的得分详情。并在\u002FDataBase\u002Fexperience目录下生成无人机轨迹。\n\n训练过程：\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_b8b204540542.gif)\n\n每个训练轮次生成的静态轨迹HTML\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_cf8cdb746ab0.png)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_7a7d7c20dcda.png)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_53b0a71777c8.png)\n\n基于cesium的训练过程动态可视化\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_992fb8b0a55e.png)\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_readme_909e157f1667.gif)","# DQN-based-UAV-3D_path_planer (RLGF) 快速上手指南\n\nRLGF 是一个专为无人机（UAV）深度强化学习任务设计的通用训练框架。它支持连续与离散飞行动作，内置能量消耗与航线规划模型，并集成了 DQN、PPO、SAC、DDPG 等多种主流强化学习算法。用户仅需通过 XML 配置即可自定义任务环境、无人机参数及训练算法。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux \u002F Windows \u002F macOS\n*   **Python 版本**: 3.9.7 (推荐)\n*   **PyTorch 版本**: 1.11.0\n*   **可选可视化组件** (如需动态轨迹可视化):\n    *   JDK 17 \u002F 1.8\n    *   Maven\n    *   MySQL 10.3.19\n\n### 前置依赖安装\n\n建议使用国内镜像源加速依赖下载。\n\n```bash\n# 创建虚拟环境 (可选但推荐)\npython -m venv rl_env\nsource rl_env\u002Fbin\u002Factivate  # Linux\u002FMac\n# rl_env\\Scripts\\activate   # Windows\n\n# 安装 Python 依赖 (使用清华源加速)\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**: 若 `requirements.txt` 未指定具体 PyTorch 版本，请手动安装兼容版本：\n> ```bash\n> pip install torch==1.11.0 torchvision==0.12.0 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 2. 项目结构概览\n\n克隆项目后，主要目录结构如下：\n\n*   `config\u002F`: 核心配置目录，包含环境 (`PathPlan_City.xml`)、无人机 (`UAV.xml`)、训练器 (`Trainer.xml`) 及障碍物配置。\n*   `Agents\u002F`: 智能体模型代码。\n*   `Env\u002F`: 环境模型类。\n*   `Trainer\u002F`: 集成各类强化学习算法的训练器。\n*   `simulator.py`: 训练启动入口脚本。\n*   `logs\u002F`: 训练日志输出目录 (CSV 格式)。\n*   `DataBase\u002Fexperience\u002F`: 生成的静态轨迹 HTML 文件。\n\n## 3. 基本使用\n\n### 步骤一：配置任务\n\n修改 `config\u002FPathPlan_City.xml` 文件以定义您的训练任务。关键参数说明如下：\n\n```xml\n\u003Csimulator>\n    \u003Cenv>\n        \u003C!-- 指定环境模型名称，需与 Env 文件夹下的 py 文件名一致 -->\n        \u003CEnv_Type>PathPlan_City\u003C\u002FEnv_Type>\n        \n        \u003C!-- 环境空间尺寸 (长\u002F宽\u002F高) -->\n        \u003Clen>500\u003C\u002Flen>\n        \u003Cwidth>500\u003C\u002Fwidth>\n        \u003Ch>100\u003C\u002Fh>\n        \n        \u003C!-- 无人机数量 -->\n        \u003Cnum_UAV>1\u003C\u002Fnum_UAV>\n        \n        \u003CAgent>\n            \u003C!-- 无人机参数配置文件路径 -->\n            \u003Cxml_path_agent>.\u002Fconfig\u002FUAV.xml\u003C\u002Fxml_path_agent>\n            \u003CTrainer>\n                \u003C!-- 训练算法配置文件路径 (可在此切换 DQN, PPO, SAC 等) -->\n                \u003CTrainer_path>.\u002Fconfig\u002FTrainer.xml\u003C\u002FTrainer_path>\n            \u003C\u002FTrainer>\n        \u003C\u002FAgent>\n        \n        \u003C!-- 障碍物\u002F建筑物配置 -->\n        \u003CObstacles>\n            \u003Cbuildings>.\u002Fconfig\u002Fbuildings.xml\u003C\u002Fbuildings>\n        \u003C\u002FObstacles>\n    \u003C\u002Fenv>\n    \n    \u003C!-- 训练超参数 -->\n    \u003Crecord_epo>10\u003C\u002Frecord_epo>          \u003C!-- 每多少轮保存一次轨迹 -->\n    \u003Cnum_episodes>500\u003C\u002Fnum_episodes>     \u003C!-- 总迭代次数 -->\n    \u003CTARGET_UPDATE>3\u003C\u002FTARGET_UPDATE>     \u003C!-- 目标网络更新频率 -->\n\u003C\u002Fsimulator>\n```\n\n*   **切换算法**: 编辑 `config\u002FTrainer.xml` 即可在 DQN, DDQN, PPO, SAC, DDPG 等算法间无缝切换，无需修改代码。\n*   **自定义无人机**: 编辑 `config\u002FUAV.xml` 可调整最大速度、转向角、功耗模型等物理参数。\n\n### 步骤二：启动训练\n\n在项目根目录下运行模拟器脚本：\n\n```bash\npython simulator.py\n```\n\n### 步骤三：查看结果\n\n训练开始后，系统将自动执行以下操作：\n\n1.  **日志记录**: 训练得分与参数将实时保存至 `logs\u002F` 目录下的 CSV 文件中。\n2.  **轨迹生成**: 每经过 `\u003Crecord_epo>` 设定的轮次，无人机的飞行轨迹将以 HTML 形式保存在 `DataBase\u002Fexperience\u002F` 目录。\n3.  **断点续训**: 框架支持断点训练，再次运行命令时可自动加载已有模型继续训练。\n\n您可以直接在浏览器中打开 `DataBase\u002Fexperience\u002F` 下生成的 `.html` 文件，查看静态的三维飞行轨迹可视化结果。\n\n> **提示**: 若需体验基于 Cesium 的动态轨迹可视化，需额外配置 MySQL 数据库及 Java 后端项目 (PathViewer)，并将 `config\u002FDB.xml` 指向有效的数据库连接。","某智慧城市物流团队需要在密集建筑群中部署无人机，以自动规划出兼顾能耗最低与避障安全的最优三维配送航线。\n\n### 没有 DQN-based-UAV-3D_path_planer 时\n- **算法验证周期长**：每次尝试切换 DQN、PPO 或 SAC 等不同强化学习算法，都需要重写大量底层训练代码，耗时数天且容易出错。\n- **环境建模门槛高**：难以快速构建包含真实建筑高度、动态障碍物及复杂飞行功耗模型的 3D 仿真环境，导致仿真与现实差距大。\n- **参数调优靠猜**：无人机的最大转向角、加速度及不同速度下的功耗参数缺乏灵活配置接口，只能硬编码修改，调试效率极低。\n- **结果复盘困难**：训练产生的轨迹数据仅存为枯燥的日志文件，缺乏直观的 3D 可视化手段，难以分析撞机原因或路径冗余问题。\n\n### 使用 DQN-based-UAV-3D_path_planer 后\n- **算法一键切换**：仅需修改 XML 配置文件中的 `\u003CTrainer>` 标签，即可在几分钟内从 DQN 切换至 DDQN 或 PPO 进行对比训练，大幅加速算法选型。\n- **高保真场景定制**：通过 `buildings.xml` 和自定义环境类，快速还原城市楼宇分布，并内置了精确的飞行能耗模型，使仿真结果极具参考价值。\n- **精细化参数控制**：利用 `UAV.xml` 灵活定义无人机物理极限与功耗曲线，支持动态调整子任务粒度，让策略更贴合实际硬件性能。\n- **轨迹动态可视**：训练结束后自动生成 HTML 格式的 3D 飞行轨迹图，并可对接 MySQL 数据库实现多轮次迭代的路径动态回放，问题定位一目了然。\n\nDQN-based-UAV-3D_path_planer 通过配置驱动的开发模式与全链路可视化能力，将无人机三维路径规划的算法研发效率提升了数倍。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fyoung-how_DQN-based-UAV-3D_path_planer_4e5d8999.png","young-how","young how","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fyoung-how_cfb1574d.jpg",null,"DUT","Beijing,China","younghowkg@gmail.com","https:\u002F\u002Fgithub.com\u002Fyoung-how",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,546,58,"2026-04-09T02:30:30","MIT",4,"未说明",{"notes":92,"python":93,"dependencies":94},"可视化和数据库功能需要额外环境：JDK 17、Spring 6.15、Maven 和 MySQL 10.3.19。训练核心仅依赖 Python 3.9.7 和 PyTorch 1.11.0。若不使用数据库存储轨迹数据，可忽略 DB.xml 配置及相关 Java\u002FMySQL 环境。","3.9.7",[95,96],"torch==1.11.0","mysql-connector (隐含，配合 MySQL 10.3.19 使用)",[14,98],"其他","2026-03-27T02:49:30.150509","2026-04-14T12:31:38.571469",[102,107,112],{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},32785,"AMD 显卡可以运行该项目吗？","理论上是可以运行的，但可能需要对代码进行轻微的修改以适配 AMD 显卡（因为默认配置通常针对 NVIDIA CUDA）。","https:\u002F\u002Fgithub.com\u002Fyoung-how\u002FDQN-based-UAV-3D_path_planer\u002Fissues\u002F3",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},32786,"如果我想让无人机到达任意指定的目标点，该如何修改项目？","该问题的提出者询问了如何修改项目以实现无人机到达任意目标点，但截至当前数据，维护者尚未提供具体的修改步骤或代码方案。建议查看项目源码中关于奖励函数（reward function）和目标状态设定的部分进行调整。","https:\u002F\u002Fgithub.com\u002Fyoung-how\u002FDQN-based-UAV-3D_path_planer\u002Fissues\u002F34",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},32787,"如何修改生成路径结果界面的 UI 画布大小？","有用户反馈生成路径结果界面的 UI 画布大小无法修改，但截至当前数据，维护者尚未提供具体的解决方案或配置参数。可能需要检查绘图库（如 matplotlib 或 PyQt）的相关初始化代码。","https:\u002F\u002Fgithub.com\u002Fyoung-how\u002FDQN-based-UAV-3D_path_planer\u002Fissues\u002F30",[118],{"id":119,"version":120,"summary_zh":121,"released_at":122},247527,"basicVersion","该算法的最基础版本仅支持在离散动作空间中的DQN算法。","2024-05-25T08:24:01"]