[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-XinJingHao--DRL-Pytorch":3,"tool-XinJingHao--DRL-Pytorch":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",157379,2,"2026-04-15T23:32:42",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":76,"owner_twitter":76,"owner_website":78,"owner_url":79,"languages":80,"stars":85,"forks":86,"last_commit_at":87,"license":76,"difficulty_score":32,"env_os":88,"env_gpu":89,"env_ram":88,"env_deps":90,"category_tags":97,"github_topics":98,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":115,"updated_at":116,"faqs":117,"releases":162},8000,"XinJingHao\u002FDRL-Pytorch","DRL-Pytorch","Clean, Robust, and Unified PyTorch implementation of popular Deep Reinforcement Learning (DRL) algorithms (Q-learning, Duel DDQN, PER, C51, Noisy DQN, PPO, DDPG, TD3, SAC, ASL)","DRL-Pytorch 是一个基于 PyTorch 框架构建的深度强化学习（DRL）算法开源库，旨在提供一套干净、稳健且统一的代码实现。它涵盖了从经典的 Q-learning、Duel DDQN 到前沿的 PPO、TD3、SAC 以及分布式架构 ASL 等主流算法，全面支持离散与连续动作空间的任务需求。\n\n在强化学习领域，研究者常面临不同算法代码风格迥异、依赖环境复杂难以复现等痛点。DRL-Pytorch 通过标准化的项目结构和清晰的模块设计，有效解决了这些问题。用户只需进入对应算法文件夹运行 main.py 即可从零开始训练，极大地降低了上手门槛和调试成本。此外，该库还贴心地提供了各算法的独立仓库链接，方便按需调用。\n\n这套工具特别适合人工智能领域的研究人员、高校学生以及希望快速验证想法的开发者使用。无论是用于学术实验对比，还是作为学习深度强化学习原理的教学素材，DRL-Pytorch 都能提供可靠的支持。其技术亮点在于不仅兼容标准的 Gymnasium 仿真环境，还展示了与 NVIDIA Isaac Sim 等高性能物理引擎的集成潜力，为需要大规模并行训练或机器人控制的高级应用预留","DRL-Pytorch 是一个基于 PyTorch 框架构建的深度强化学习（DRL）算法开源库，旨在提供一套干净、稳健且统一的代码实现。它涵盖了从经典的 Q-learning、Duel DDQN 到前沿的 PPO、TD3、SAC 以及分布式架构 ASL 等主流算法，全面支持离散与连续动作空间的任务需求。\n\n在强化学习领域，研究者常面临不同算法代码风格迥异、依赖环境复杂难以复现等痛点。DRL-Pytorch 通过标准化的项目结构和清晰的模块设计，有效解决了这些问题。用户只需进入对应算法文件夹运行 main.py 即可从零开始训练，极大地降低了上手门槛和调试成本。此外，该库还贴心地提供了各算法的独立仓库链接，方便按需调用。\n\n这套工具特别适合人工智能领域的研究人员、高校学生以及希望快速验证想法的开发者使用。无论是用于学术实验对比，还是作为学习深度强化学习原理的教学素材，DRL-Pytorch 都能提供可靠的支持。其技术亮点在于不仅兼容标准的 Gymnasium 仿真环境，还展示了与 NVIDIA Isaac Sim 等高性能物理引擎的集成潜力，为需要大规模并行训练或机器人控制的高级应用预留了广阔空间。如果你正在寻找一份代码规范、文档详尽的 DRL 实战参考，DRL-Pytorch 将是一个理想的选择。","\u003Cdiv align=center>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_04163322a923.png\" width=500 \u002F>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\nClean, Robust, and Unified PyTorch implementation of popular DRL Algorithms\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-blue\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-blueviolet\" \u002F>\n  \u003Ca href=\"https:\u002F\u002Fpytorch.org\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPytorch-ff69b4\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fdeepwiki.com\u002FXinJingHao\u002FDRL-Pytorch\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDeepWiki-FF6347\" \u002F>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr\u002F>\n\u003Cbr\u002F>\n\n## 0.Star History\n\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"70%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_34e3d42b1e84.png\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n\n## 1.Dependencies\nThis repository uses the following python dependencies unless explicitly stated:\n```python\ngymnasium==0.29.1\nnumpy==1.26.1\npytorch==2.1.0\n\npython==3.11.5\n```\n\n\u003Cbr\u002F>\n\n## 2.How to use my code\nEnter the folder of the algorithm that you want to use, and run the **main.py** to train from scratch:\n```bash\npython main.py\n```\nFor more details, please check the **README.md** file in the corresponding algorithm folder.\n\n\u003Cbr\u002F>\n\n## 3. Separate links of the code\n+ [1.Q-learning](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FQ-learning)\n+ [2.1Duel Double DQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDuel-Double-DQN-Pytorch)\n+ [2.2Noisy Duel DDQN on Atari Game](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FNoisy-Duel-DDQN-Atari-Pytorch)\n+ [2.3Prioritized Experience Replay(PER) DQN\u002FDDQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch)\n+ [2.4Categorical DQN (C51)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch)\n+ [2.5NoisyNet DQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FNoisyNet-DQN-Pytorch)\n+ [3.1Proximal Policy Optimization(PPO) for Discrete Action Space](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Discrete-Pytorch)\n+ [3.2Proximal Policy Optimization(PPO) for Continuous Action Space](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Continuous-Pytorch)\n+ [4.1Deep Deternimistic Policy Gradient(DDPG)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch)\n+ [4.2Twin Delayed Deep Deterministic Policy Gradient(TD3)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FTD3-Pytorch)\n+ [5.1Soft Actor Critic(SAC) for Discrete Action Space](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Discrete-Pytorch)\n+ [5.2Soft Actor Critic(SAC) for Continuous Action Space](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Continuous-Pytorch)\n+ [6.Actor-Sharer-Learner(ASL)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FActor-Sharer-Learner)\n\n\u003Cbr\u002F>\n\n## 4. Recommended Resources for DRL\n### 4.1 Simulation Environments:\n+ [gym](https:\u002F\u002Fwww.gymlibrary.dev\u002F) and [gymnasium](https:\u002F\u002Fgymnasium.farama.org\u002F) (Lightweight & Standard Env for DRL; Easy to start; Slow):\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_2bb1f0c44706.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Isaac Sim](https:\u002F\u002Fdeveloper.nvidia.com\u002Fisaac\u002Fsim#isaac-lab) (NVIDIA’s physics simulation environment; GPU accelerated; Superfast):\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_75c83e0cfae5.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Sparrow](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSparrow-V2) (Light Weight Simulator for Mobile Robot; DRL friendly):\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"62%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_8ea5a8ae1509.gif\">\n\u003C\u002Fdiv>\n\n\u003Cp align=\"left\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_0d47d6826451.gif\" width=\"10%\" height=\"auto\"  \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_781de35e3ff7.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_46b884c90ef7.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_eafaa35be57e.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_fcbadfd3510d.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_12e0f2fd2a7b.gif\" width=\"10%\" height=\"auto\" \u002F>\n\u003C\u002Fp>\n\n\u003Cbr\u002F>\n\n+ [ROS](https:\u002F\u002Fwww.ros.org\u002F) (Popular & Comprehensive physical simulator for robots; Heavy and Slow):\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_ad4a04bf6e15.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Webots](https:\u002F\u002Fcyberbotics.com\u002F) (Popular physical simulator for robots; Faster than ROS; Less realistic):\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_73a25fc15ae7.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Envpool](https:\u002F\u002Fenvpool.readthedocs.io\u002Fen\u002Flatest\u002Findex.html) (Fast Vectorized Env)\n+ [Other Popular Envs](https:\u002F\u002Fgithub.com\u002Fclvrai\u002Fawesome-rl-envs)\n\n### 4.2 Books：\n+ [《Reinforcement learning: An introduction》](https:\u002F\u002Fbooks.google.com.sg\u002Fbooks?hl=zh-CN&lr=&id=uWV0DwAAQBAJ&oi=fnd&pg=PR7&dq=Reinforcement+Learning&ots=mivIu01Xp6&sig=zQ6jkZRxJop4fkAgScMgzULGlbY&redir_esc=y#v=onepage&q&f=false)--Richard S. Sutton\n+ 《深度学习入门：基于Python的理论与实现》--斋藤康毅\n\n### 4.3 Online Courses:\n+ [RL Courses(bilibili)](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1UE411G78S?p=1&vd_source=df4b7370976f5ca5034cc18488eec368)--李宏毅(Hongyi Li)\n+ [RL Courses(Youtube)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=z95ZYgPgXOY&list=PLJV_el3uVTsODxQFgzMzPLa16h6B8kWM_)--李宏毅(Hongyi Li)\n+ [UCL Course on RL](https:\u002F\u002Fwww.davidsilver.uk\u002Fteaching\u002F)--David Silver\n+ [动手强化学习](https:\u002F\u002Fhrl.boyuai.com\u002Fchapter\u002F1\u002F%E5%88%9D%E6%8E%A2%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0)--上海交通大学\n+ [DRL Courses](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDRL)--Shusen Wang\n\n### 4.4 Blogs:\n+ [OpenAI Spinning Up](https:\u002F\u002Fspinningup.openai.com\u002Fen\u002Flatest\u002F)\n+ [Policy Gradient Theorem --Cangxi](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F491647161)\n+ [Policy Gradient Algorithms --Lilian](https:\u002F\u002Flilianweng.github.io\u002Fposts\u002F2018-04-08-policy-gradient\u002F)\n+ [Theorem of PPO](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F563166533)\n+ [The 37 Implementation Details of Proximal Policy Optimization](https:\u002F\u002Ficlr-blog-track.github.io\u002F2022\u002F03\u002F25\u002Fppo-implementation-details\u002F)\n+ [Prioritized Experience Replay](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F631171588)\n+ [Soft Actor Critic](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F566722896)\n+ [A (Long) Peek into Reinforcement Learning --Lilian](https:\u002F\u002Flilianweng.github.io\u002Fposts\u002F2018-02-19-rl-overview\u002F)\n+ [Introduction to TD3](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F409536699)\n\n\u003Cbr\u002F>\n\n## 5. Important Papers\nDQN: [Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. nature, 2015, 518(7540): 529-533.](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fnature14236\u002F?source=post_page)\n\nDouble DQN: [Van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double q-learning[C]\u002F\u002FProceedings of the AAAI conference on artificial intelligence. 2016, 30(1).](https:\u002F\u002Fojs.aaai.org\u002Findex.php\u002FAAAI\u002Farticle\u002Fview\u002F10295)\n\nDuel DQN: [Wang, Ziyu, et al. \"Dueling network architectures for deep reinforcement learning.\" International conference on machine learning. PMLR, 2016.](https:\u002F\u002Fproceedings.mlr.press\u002Fv48\u002Fwangf16.pdf)\n\nPER: [Schaul T, Quan J, Antonoglou I, et al. Prioritized experience replay[J]. arXiv preprint arXiv:1511.05952, 2015.](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.05952)\n\nC51: [Bellemare M G, Dabney W, Munos R. A distributional perspective on reinforcement learning[C]\u002F\u002FInternational conference on machine learning. PMLR, 2017: 449-458.](https:\u002F\u002Fproceedings.mlr.press\u002Fv70\u002Fbellemare17a\u002Fbellemare17a.pdf)\n\nNoisyNet DQN: [Fortunato M, Azar M G, Piot B, et al. Noisy networks for exploration[J]. arXiv preprint arXiv:1706.10295, 2017.](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.10295)\n\nPPO: [Schulman J, Wolski F, Dhariwal P, et al. Proximal policy optimization algorithms[J]. arXiv preprint arXiv:1707.06347, 2017.](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1707.06347.pdf)\n\nDDPG: [Lillicrap T P, Hunt J J, Pritzel A, et al. Continuous control with deep reinforcement learning[J]. arXiv preprint arXiv:1509.02971, 2015.](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\n\nTD3: [Fujimoto S, Hoof H, Meger D. Addressing function approximation error in actor-critic methods[C]\u002F\u002FInternational conference on machine learning. PMLR, 2018: 1587-1596.](https:\u002F\u002Fproceedings.mlr.press\u002Fv80\u002Ffujimoto18a.html)\n\nSAC: [Haarnoja T, Zhou A, Abbeel P, et al. Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor[C]\u002F\u002FInternational conference on machine learning. PMLR, 2018: 1861-1870.](https:\u002F\u002Fproceedings.mlr.press\u002Fv80\u002Fhaarnoja18b)\n\nASL: [Train a Real-world Local Path Planner in One Hour via Partially Decoupled Reinforcement Learning and Vectorized Diversity](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.04180)\n\nColorDynamic: [Generalizable, Scalable, Real-time, End-to-end Local Planner for Unstructured and Dynamic Environments](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.19892)\n\n\u003Cbr\u002F>\n\n\n## 6. Citation\n```bash\n@misc{DRL-Pytorch,\n  author = {Jinghao Xin},\n  title = {DRL-Pytorch},\n  year = {2022},\n  publisher = {GitHub},\n  journal = {GitHub Repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch}},\n}\n```\n\u003Cbr\u002F>\n\n## 7. Training Curves of my Code:\n\n### [Q-learning:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FQ-learning)\n\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FQ-learning\u002Fblob\u002Fmain\u002Fresult.svg\" width=320>\n\n### [Duel Double DQN:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDuel-Double-DQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_4173aebb4825.png\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_8ba77373eec9.png\" width=\"320\" height=\"200\">\n\n\n\n### [Noisy Duel DDQN on Atari Game:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FNoisy-Duel-DDQN-Atari-Pytorch)\nPong| Enduro\n:-----------------------:|:-----------------------:|\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_589b0be329ab.png\" width=\"320\" height=\"200\">| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_576bcb082eb7.png\" width=\"320\" height=\"200\">\n\n\u003Cbr\u002F>\n\n\n### [Prioritized DQN\u002FDDQN:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n| \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch\u002Fblob\u002Fmain\u002FLightPriorDQN_gym0.2x\u002FIMGs\u002FCPV1.svg\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch\u002Fblob\u002Fmain\u002FLightPriorDQN_gym0.2x\u002FIMGs\u002FLLDV2.svg\" width=\"320\" height=\"200\"> |\n\n\u003Cbr\u002F>\n\n### [Categorical DQN:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n| \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch\u002Fblob\u002Fmain\u002FImages\u002Fcp.svg\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch\u002Fblob\u002Fmain\u002FImages\u002Flld.svg\" width=\"320\" height=\"200\"> |\n\n\u003Cbr\u002F>\n\n### [NoisyNet DQN:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_b196a2f7e911.png\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_7a40e1d9579e.png\" width=\"320\" height=\"200\"> |\n\n\u003Cbr\u002F>\n\n### [PPO Discrete:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Discrete-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_f78bf3d71738.jpg\" width=700>\n\n### [PPO Continuous:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Continuous-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_120a2901b7a9.jpg\">\n\n### [DDPG:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch)\nPendulum| LunarLanderContinuous\n:-----------------------:|:-----------------------:|\n\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch\u002Fblob\u002Fmain\u002FIMGs\u002Fddpg_pv0.svg\" width=\"320\" height=\"200\">| \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch\u002Fblob\u002Fmain\u002FIMGs\u002Fddpg_lld.svg\" width=\"320\" height=\"200\"> \n\n\u003Cbr\u002F>\n\n### [TD3:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FTD3-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_35f7ebb19841.png\" width=700>\n\n### [SAC Continuous:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Continuous-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_ae2f7085fc0f.jpg\" width=700>\n\n### [SAC Discrete:](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Discrete-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_141cb4f0a1d5.jpg\" width=700>\n\n### [Actor-Sharer-Learner (ASL):](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FActor-Sharer-Learner)\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"70%\" height=\"auto\" src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FImages\u002Fblob\u002Fmain\u002Fasl\u002Fss_e.svg\">\n\u003C\u002Fdiv>\n\n\n","\u003Cdiv align=center>\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_04163322a923.png\" width=500 \u002F>\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n简洁、鲁棒且统一的流行深度强化学习算法PyTorch实现\n\u003C\u002Fdiv>\n\n\u003Cdiv align=center>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPython-blue\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDRL-blueviolet\" \u002F>\n  \u003Ca href=\"https:\u002F\u002Fpytorch.org\u002F\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FPytorch-ff69b4\" \u002F>\u003C\u002Fa>\n  \u003Ca href=\"https:\u002F\u002Fdeepwiki.com\u002FXinJingHao\u002FDRL-Pytorch\">\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FDeepWiki-FF6347\" \u002F>\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\u003Cbr\u002F>\n\u003Cbr\u002F>\n\n## 0.星标历史\n\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"70%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_34e3d42b1e84.png\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n\n## 1.依赖项\n除非另有说明，本仓库使用以下Python依赖项：\n```python\ngymnasium==0.29.1\nnumpy==1.26.1\npytorch==2.1.0\n\npython==3.11.5\n```\n\n\u003Cbr\u002F>\n\n## 2.如何使用我的代码\n进入您想要使用的算法文件夹，并运行**main.py**从头开始训练：\n```bash\npython main.py\n```\n更多详细信息，请查看相应算法文件夹中的**README.md**文件。\n\n\u003Cbr\u002F>\n\n## 3.代码独立链接\n+ [1.Q-learning](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FQ-learning)\n+ [2.1双duel DQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDuel-Double-DQN-Pytorch)\n+ [2.2Atari游戏上的噪声duel DDQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FNoisy-Duel-DDQN-Atari-Pytorch)\n+ [2.3优先级经验回放(PER) DQN\u002FDDQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch)\n+ [2.4分类DQN (C51)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch)\n+ [2.5噪声网络DQN](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FNoisyNet-DQN-Pytorch)\n+ [3.1离散动作空间的近端策略优化(PPO)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Discrete-Pytorch)\n+ [3.2连续动作空间的近端策略优化(PPO)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Continuous-Pytorch)\n+ [4.1深度确定性策略梯度(DDPG)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch)\n+ [4.2延迟双深度确定性策略梯度(TD3)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FTD3-Pytorch)\n+ [5.1离散动作空间的软演员评论家(SAC)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Discrete-Pytorch)\n+ [5.2连续动作空间的软演员评论家(SAC)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Continuous-Pytorch)\n+ [6.演员-共享者-学习者(ASL)](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FActor-Sharer-Learner)\n\n\u003Cbr\u002F>\n\n## 4.深度强化学习推荐资源\n### 4.1 模拟环境：\n+ [gym](https:\u002F\u002Fwww.gymlibrary.dev\u002F) 和 [gymnasium](https:\u002F\u002Fgymnasium.farama.org\u002F)（轻量级且标准的DRL环境；易于入门；速度较慢）：\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_2bb1f0c44706.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Isaac Sim](https:\u002F\u002Fdeveloper.nvidia.com\u002Fisaac\u002Fsim#isaac-lab)（NVIDIA的物理仿真环境；GPU加速；超快速）：\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_75c83e0cfae5.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Sparrow](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSparrow-V2)（轻量级移动机器人模拟器；适合DRL）：\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"62%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_8ea5a8ae1509.gif\">\n\u003C\u002Fdiv>\n\n\u003Cp align=\"left\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_0d47d6826451.gif\" width=\"10%\" height=\"auto\"  \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_781de35e3ff7.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_46b884c90ef7.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_eafaa35be57e.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_fcbadfd3510d.gif\" width=\"10%\" height=\"auto\" \u002F>\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_12e0f2fd2a7b.gif\" width=\"10%\" height=\"auto\" \u002F>\n\u003C\u002Fp>\n\n\u003Cbr\u002F>\n\n+ [ROS](https:\u002F\u002Fwww.ros.org\u002F)（流行的综合性机器人物理仿真器；体积大且速度慢）：\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_ad4a04bf6e15.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Webots](https:\u002F\u002Fcyberbotics.com\u002F)（流行的机器人物理仿真器；比ROS快；但真实性稍逊）：\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"60%\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_73a25fc15ae7.gif\">\n\u003C\u002Fdiv>\n\u003Cbr\u002F>\n\n+ [Envpool](https:\u002F\u002Fenvpool.readthedocs.io\u002Fen\u002Flatest\u002Findex.html)（高速向量化环境）\n+ [其他热门环境](https:\u002F\u002Fgithub.com\u002Fclvrai\u002Fawesome-rl-envs)\n\n### 4.2 书籍：\n+ [《强化学习：导论》](https:\u002F\u002Fbooks.google.com.sg\u002Fbooks?hl=zh-CN&lr=&id=uWV0DwAAQBAJ&oi=fnd&pg=PR7&dq=Reinforcement+Learning&ots=mivIu01Xp6&sig=zQ6jkZRxJop4fkAgScMgzULGlbY&redir_esc=y#v=onepage&q&f=false)--理查德·S·萨顿\n+ 《深度学习入门：基于Python的理论与实现》--斋藤康毅\n\n### 4.3 在线课程：\n+ [RL课程(bilibili)](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1UE411G78S?p=1&vd_source=df4b7370976f5ca5034cc18488eec368)--李宏毅\n+ [RL课程(Youtube)](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=z95ZYgPgXOY&list=PLJV_el3uVTsODxQFgzMzPLa16h6B8kWM_)--李宏毅\n+ [UCL的RL课程](https:\u002F\u002Fwww.davidsilver.uk\u002Fteaching\u002F)--戴维·西尔弗\n+ [动手强化学习](https:\u002F\u002Fhrl.boyuai.com\u002Fchapter\u002F1\u002F%E5%88%9D%E6%8E%A2%E5%BC%BA%E5%8C%96%E5%AD%A6%E4%B9%A0)--上海交通大学\n+ [DRL课程](https:\u002F\u002Fgithub.com\u002Fwangshusen\u002FDRL)--王树森\n\n### 4.4 博客：\n+ [OpenAI Spinning Up](https:\u002F\u002Fspinningup.openai.com\u002Fen\u002Flatest\u002F)\n+ [策略梯度定理 --苍溪](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F491647161)\n+ [策略梯度算法 --莉莲](https:\u002F\u002Flilianweng.github.io\u002Fposts\u002F2018-04-08-policy-gradient\u002F)\n+ [PPO定理](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F563166533)\n+ [近端策略优化的37个实现细节](https:\u002F\u002Ficlr-blog-track.github.io\u002F2022\u002F03\u002F25\u002Fppo-implementation-details\u002F)\n+ [优先级经验回放](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F631171588)\n+ [软演员评论家](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F566722896)\n+ [对强化学习的深入观察 --莉莲](https:\u002F\u002Flilianweng.github.io\u002Fposts\u002F2018-02-19-rl-overview\u002F)\n+ [TD3简介](https:\u002F\u002Fzhuanlan.zhihu.com\u002Fp\u002F409536699)\n\n\u003Cbr\u002F>\n\n## 5. 重要论文\nDQN：[Mnih V, Kavukcuoglu K, Silver D, 等. 通过深度强化学习实现人类水平的控制[J]. 自然, 2015, 518(7540): 529-533.](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fnature14236\u002F?source=post_page)\n\nDouble DQN：[Van Hasselt H, Guez A, Silver D. 深度强化学习中的双Q学习[C]\u002F\u002F美国人工智能协会人工智能会议论文集. 2016, 30(1).](https:\u002F\u002Fojs.aaai.org\u002Findex.php\u002FAAAI\u002Farticle\u002Fview\u002F10295)\n\nDuel DQN：[Wang, Ziyu, 等. “用于深度强化学习的决斗网络架构”. 国际机器学习大会. PMLR, 2016.](https:\u002F\u002Fproceedings.mlr.press\u002Fv48\u002Fwangf16.pdf)\n\nPER：[Schaul T, Quan J, Antonoglou I, 等. 优先级经验回放[J]. arXiv预印本 arXiv:1511.05952, 2015.](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.05952)\n\nC51：[Bellemare M G, Dabney W, Munos R. 强化学习的分布视角[C]\u002F\u002F国际机器学习大会. PMLR, 2017: 449-458.](https:\u002F\u002Fproceedings.mlr.press\u002Fv70\u002Fbellemare17a\u002Fbellemare17a.pdf)\n\nNoisyNet DQN：[Fortunato M, Azar M G, Piot B, 等. 用于探索的噪声网络[J]. arXiv预印本 arXiv:1706.10295, 2017.](https:\u002F\u002Farxiv.org\u002Fabs\u002F1706.10295)\n\nPPO：[Schulman J, Wolski F, Dhariwal P, 等. 近端策略优化算法[J]. arXiv预印本 arXiv:1707.06347, 2017.](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1707.06347.pdf)\n\nDDPG：[Lillicrap T P, Hunt J J, Pritzel A, 等. 基于深度强化学习的连续控制[J]. arXiv预印本 arXiv:1509.02971, 2015.](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\n\nTD3：[Fujimoto S, Hoof H, Meger D. 解决演员-评论家方法中的函数逼近误差[C]\u002F\u002F国际机器学习大会. PMLR, 2018: 1587-1596.](https:\u002F\u002Fproceedings.mlr.press\u002Fv80\u002Ffujimoto18a.html)\n\nSAC：[Haarnoja T, Zhou A, Abbeel P, 等. 软演员-评论家：具有随机演员的离策略最大熵深度强化学习[C]\u002F\u002F国际机器学习大会. PMLR, 2018: 1861-1870.](https:\u002F\u002Fproceedings.mlr.press\u002Fv80\u002Fhaarnoja18b)\n\nASL：[通过部分解耦的强化学习和向量化多样性，在一小时内训练一个真实世界的局部路径规划器](https:\u002F\u002Farxiv.org\u002Fabs\u002F2305.04180)\n\nColorDynamic：[适用于非结构化和动态环境的可泛化、可扩展、实时、端到端局部规划器](https:\u002F\u002Farxiv.org\u002Fabs\u002F2502.19892)\n\n\u003Cbr\u002F>\n\n\n## 6. 引用\n```bash\n@misc{DRL-Pytorch,\n  author = {Jinghao Xin},\n  title = {DRL-Pytorch},\n  year = {2022},\n  publisher = {GitHub},\n  journal = {GitHub Repository},\n  howpublished = {\\url{https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch}},\n}\n```\n\u003Cbr\u002F>\n\n## 7. 我的代码训练曲线：\n\n### [Q-learning：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FQ-learning)\n\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FQ-learning\u002Fblob\u002Fmain\u002Fresult.svg\" width=320>\n\n### [Duel Double DQN：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDuel-Double-DQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_4173aebb4825.png\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_8ba77373eec9.png\" width=\"320\" height=\"200\">\n\n\n\n### [Atari游戏上的噪声Duel DDQN：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FNoisy-Duel-DDQN-Atari-Pytorch)\nPong| Enduro\n:-----------------------:|:-----------------------:|\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_589b0be329ab.png\" width=\"320\" height=\"200\">| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_576bcb082eb7.png\" width=\"320\" height=\"200\">\n\n\u003Cbr\u002F>\n\n\n### [优先级DQN\u002FDDQN：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n| \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch\u002Fblob\u002Fmain\u002FLightPriorDQN_gym0.2x\u002FIMGs\u002FCPV1.svg\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPrioritized-DQN-DDQN-Pytorch\u002Fblob\u002Fmain\u002FLightPriorDQN_gym0.2x\u002FIMGs\u002FLLDV2.svg\" width=\"320\" height=\"200\"> |\n\n\u003Cbr\u002F>\n\n### [分类DQN：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n| \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch\u002Fblob\u002Fmain\u002FImages\u002Fcp.svg\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch\u002Fblob\u002Fmain\u002FImages\u002Flld.svg\" width=\"320\" height=\"200\"> |\n\n\u003Cbr\u002F>\n\n### [NoisyNet DQN：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FC51-Categorical-DQN-Pytorch)\n|                           CartPole                           |                         LunarLander                          |\n| :----------------------------------------------------------: | :----------------------------------------------------------: |\n| \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_b196a2f7e911.png\" width=\"320\" height=\"200\"> | \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_7a40e1d9579e.png\" width=\"320\" height=\"200\"> |\n\n\u003Cbr\u002F>\n\n### [PPO离散版：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Discrete-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_f78bf3d71738.jpg\" width=700>\n\n### [PPO连续版：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FPPO-Continuous-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_120a2901b7a9.jpg\">\n\n### [DDPG：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch)\nPendulum| LunarLander连续版\n:-----------------------:|:-----------------------:|\n\u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch\u002Fblob\u002Fmain\u002FIMGs\u002Fddpg_pv0.svg\" width=\"320\" height=\"200\">| \u003Cimg src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDDPG-Pytorch\u002Fblob\u002Fmain\u002FIMGs\u002Fddpg_lld.svg\" width=\"320\" height=\"200\"> \n\n\u003Cbr\u002F>\n\n### [TD3：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FTD3-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_35f7ebb19841.png\" width=700>\n\n### [SAC连续版：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Continuous-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_ae2f7085fc0f.jpg\" width=700>\n\n### [SAC离散版：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FSAC-Discrete-Pytorch)\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_readme_141cb4f0a1d5.jpg\" width=700>\n\n### [演员-分享者-学习者（ASL）：](https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FActor-Sharer-Learner)\n\u003Cdiv align=\"left\">\n\u003Cimg width=\"70%\" height=\"auto\" src=\"https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FImages\u002Fblob\u002Fmain\u002Fasl\u002Fss_e.svg\">\n\u003C\u002Fdiv>","# DRL-Pytorch 快速上手指南\n\nDRL-Pytorch 是一个干净、健壮且统一的流行深度强化学习（DRL）算法 PyTorch 实现库，涵盖了从 Q-learning 到 SAC、PPO 等多种主流算法。\n\n## 1. 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux, macOS 或 Windows\n*   **Python 版本**: 推荐 `3.11.5` (兼容 3.8+)\n*   **核心依赖**:\n    *   `pytorch` == 2.1.0\n    *   `gymnasium` == 0.29.1\n    *   `numpy` == 1.26.1\n\n> **提示**：国内用户建议使用清华源或阿里源加速 Python 包的安装。\n\n## 2. 安装步骤\n\n### 第一步：克隆项目\n首先将代码仓库克隆到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch.git\ncd DRL-Pytorch\n```\n\n### 第二步：安装依赖\n您可以直接通过 pip 安装所需依赖。为了获得更快的下载速度，推荐使用国内镜像源：\n\n```bash\n# 使用清华源安装依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n如果项目中没有 `requirements.txt` 文件，请手动安装核心库：\n\n```bash\npip install gymnasium==0.29.1 numpy==1.26.1 torch==2.1.0 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 3. 基本使用\n\n该项目的每个算法都存放在独立的文件夹中。使用流程非常统一：进入目标算法目录，直接运行 `main.py` 即可从头开始训练。\n\n### 示例：训练 Duel Double DQN\n\n假设您想训练 **Duel Double DQN** 算法：\n\n1.  **进入算法目录**：\n    ```bash\n    cd Duel-Double-DQN-Pytorch\n    ```\n    *(注：具体文件夹名称请参考项目根目录下的算法列表，如 `Q-learning`, `PPO-Discrete-Pytorch` 等)*\n\n2.  **启动训练**：\n    ```bash\n    python main.py\n    ```\n\n运行后，程序将自动初始化环境（默认为 Gymnasium 环境），并开始训练模型。训练过程中的日志和模型权重通常会保存在当前目录下的特定文件夹中（如 `models` 或 `results`）。\n\n### 其他算法快速入口\n项目支持多种算法，只需切换目录即可使用：\n*   **Q-learning**: `cd Q-learning` -> `python main.py`\n*   **PPO (离散动作)**: `cd PPO-Discrete-Pytorch` -> `python main.py`\n*   **SAC (连续动作)**: `cd SAC-Continuous-Pytorch` -> `python main.py`\n*   **TD3**: `cd TD3-Pytorch` -> `python main.py`\n\n> **注意**：每个算法文件夹内通常包含独立的 `README.md`，如需修改超参数或更换环境，请查阅对应文件夹内的说明文档。","某自动驾驶初创公司的算法团队正致力于训练一台移动机器人，使其在复杂的动态仓库环境中实现自主避障与高效路径规划。\n\n### 没有 DRL-Pytorch 时\n- **重复造轮子效率低**：团队成员需从零手写 PPO、TD3 等复杂算法的基础架构，耗费数周时间调试网络结构与环境交互接口，严重拖慢研发进度。\n- **代码风格不统一**：不同成员实现的算法代码风格迥异，数据预处理、奖励函数定义及模型保存方式各不相同，导致代码审查困难且难以复用。\n- **复现经典算法难**：尝试复现论文中的 C51 或 SAC 算法时，常因细节处理不当（如噪声注入、优先经验回放）导致模型无法收敛，排查问题如同大海捞针。\n- **环境适配成本高**：每次切换仿真环境（从 Gym 到 Isaac Sim），都需要大幅修改底层代码以适配新的观测空间与动作空间，缺乏统一的抽象层。\n\n### 使用 DRL-Pytorch 后\n- **开箱即用加速迭代**：直接调用 DRL-Pytorch 中预置的 PPO 和 TD3 模块，仅需几行代码即可启动训练，将算法验证周期从数周缩短至几天。\n- **统一标准便于协作**：所有算法均采用一致的代码结构与接口规范，团队成员可轻松互换模块进行对比实验，显著提升了协作效率与代码可维护性。\n- **鲁棒实现保障收敛**：依托库内经过严格测试的 Duel DDQN、PER 等高级特性，模型在复杂场景下快速收敛，避免了因底层实现缺陷导致的训练失败。\n- **灵活适配多类环境**：凭借其对 Gymnasium 等标准环境的原生支持及清晰的接口设计，团队能迅速将算法迁移至自研的 Sparrow 机器人仿真器中，无需重构核心逻辑。\n\nDRL-Pytorch 通过提供干净、健壮且统一的算法实现，让研发团队从繁琐的底层编码中解放出来，专注于解决实际的决策控制难题。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002FXinJingHao_DRL-Pytorch_f98eef72.png","XinJingHao","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002FXinJingHao_bc874087.png","Hello! It's Jinghao. My research interests are Autonomous Driving, DRL, Robotics and Optimization. I just got my PhD degree at SJTU. Now, I work for Huawei ADS.",null,"Shanghai, China","https:\u002F\u002Fxinjinghao.online","https:\u002F\u002Fgithub.com\u002FXinJingHao",[81],{"name":82,"color":83,"percentage":84},"Python","#3572A5",100,3354,388,"2026-04-15T03:24:47","未说明","未说明 (项目基于 PyTorch，支持 CPU 或 GPU 运行，具体取决于所选算法和环境复杂度；如使用 Isaac Sim 等高级仿真器则需 NVIDIA GPU)",{"notes":91,"python":92,"dependencies":93},"代码结构为每个算法独立文件夹，需进入对应文件夹运行 main.py 进行训练。除了基础的 Gymnasium 环境外，README 还推荐了 Isaac Sim (需 GPU 加速)、Sparrow (移动机器人轻量仿真)、ROS 和 Webots 等仿真环境，若使用这些特定环境需额外安装相应软件及依赖。","3.11.5",[94,95,96],"gymnasium==0.29.1","numpy==1.26.1","pytorch==2.1.0",[14],[99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114],"deep-reinforcement-learning","pytorch","reinforcement-learning","machine-learning","asl","c51","categorical-dqn","ddpg","double-dqn","dueling-dqn","noisynet-dqn","ppo","prioritized-experience-replay","q-learning","sac","td3","2026-03-27T02:49:30.150509","2026-04-16T10:47:44.821840",[118,123,127,132,137,142,147,152,157],{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},35811,"在仅使用 CPU 的机器上加载模型时，遇到\"Attempting to deserialize object on a CUDA device\"错误怎么办？","这是因为你尝试加载一个在 CUDA (GPU) 上训练的模型，但当前环境没有可用的 GPU。解决方法如下：\n1. 删除预训练模型文件。\n2. 重新运行 'main.py' 在你的 CPU 上训练新模型。\n3. 设置 '--ModelIdex' 参数为你新训练模型的索引。\n注意：确保其他配置正确。维护者表示未来会修复此问题以支持直接通过 map_location=torch.device('cpu') 加载 GPU 模型。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F6",{"id":124,"question_zh":125,"answer_zh":126,"source_url":122},35812,"为什么我的 PyTorch 版本找不到对应的 CUDA 支持或无法安装？","PyTorch 2.1.0 版本较高，可能在某些源中找不到对应的 CUDA 版本。建议尝试以下方法：\n1. 使用 conda 进行安装（conda solve 通常能更好地处理依赖）。\n2. 如果不需要最新特性，可以使用较低版本的 PyTorch，代码通常也是兼容的。\n3. 如果没有 GPU 环境，可以直接使用 CPU 版本运行。",{"id":128,"question_zh":129,"answer_zh":130,"source_url":131},35813,"在远程服务器（Remote Server）上运行时，为什么无法显示渲染（Rendering）界面？","远程服务器通常不支持直接的图形渲染，这需要额外的配置（如 X11 forwarding 或虚拟显示器）。建议先在本地桌面环境中测试渲染功能是否正常。如果必须在服务器上运行且需要可视化，需配置额外的显示服务或使用无头模式（headless mode）录制视频。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F5",{"id":133,"question_zh":134,"answer_zh":135,"source_url":136},35814,"PPO-Discrete 算法中的 select_action 函数里，softmax_dim 应该设为 0 还是 1？","在 3.1 PPO-Discrete 的实现中，代码是正确的，应使用 softmax_dim=0。因为在 select_action() 推理模式下，输入的状态 s 是一个形状为 (d,) 的向量（其中 d 是状态维度），不存在 batch 维度，因此需要在第 0 维执行 softmax 操作来计算动作分布。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F10",{"id":138,"question_zh":139,"answer_zh":140,"source_url":141},35815,"SAC-Continuous 算法中评估策略时，env.step() 传入的动作是否需要经过 Action_adapter 转换？","是的，这是一个已修复的 Bug。在评估智能体（evaluate_policy）时，环境 step() 执行的動作应该在 [-max_action, max_action] 范围内。网络输出的动作经过 tanh() 后范围是 (-1, 1)，因此在传入 env.step(a) 之前，必须使用 Action_adapter(a, max_action) 将动作缩放回环境的实际范围。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F12",{"id":143,"question_zh":144,"answer_zh":145,"source_url":146},35816,"SAC-Continuous 的 Actor 部分计算 log_prob 时，为什么要对 dim=1 进行 sum 操作？这与原论文公式一致吗？","这是对原论文公式的进一步推导形式。该实现移除了 tanh(h) 项，从而减少梯度消失的影响并提高稳定性。如果你希望使用原始论文的实现方式，可以将代码修改为：logp_pi_a = (dist.log_prob(u) - torch.log(1 - a.pow(2) + 1e-6)).sum(dim=1, keepdim=True)。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F9",{"id":148,"question_zh":149,"answer_zh":150,"source_url":151},35817,"运行时报错\"PongNoFrameSkip-v4 not found\"或\"cannot import name 'AutoresetMode'\"如何解决？","这是由 gymnasium 和 ale_py 的版本或注册问题引起的。请尝试以下步骤：\n1. 安装 ale_py：pip install ale-py，并在代码中添加:\n   import gymnasium as gym\n   import ale_py\n   gym.register_envs(ale_py)\n2. 升级 gymnasium 到最新版本（如 1.1.0 或更高）以解决 AutoresetMode 导入错误。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F14",{"id":153,"question_zh":154,"answer_zh":155,"source_url":156},35818,"在哪里可以找到这些算法实现的参考文献？","每个算法文件夹底部的 README 或文档中都列出了参考的论文和书籍（Reference）。例如，可以查看 TD3-Pytorch 仓库底部的 Reference 部分获取详细信息。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F2",{"id":158,"question_zh":159,"answer_zh":160,"source_url":161},35819,"项目是否包含 DDPG 或 SAC-Discrete（离散动作）的代码？","是的，项目已更新。DDPG 算法已经添加；如果你急需使用，也可以先使用 TD3（DDPG 的改进版）作为替代。此外，SAC-Discrete（离散动作空间的 SAC）代码也已更新上线。","https:\u002F\u002Fgithub.com\u002FXinJingHao\u002FDRL-Pytorch\u002Fissues\u002F3",[]]