[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-archsyscall--DeepRL-TensorFlow2":3,"tool-archsyscall--DeepRL-TensorFlow2":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150037,2,"2026-04-10T23:33:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":79,"owner_url":80,"languages":81,"stars":86,"forks":87,"last_commit_at":88,"license":89,"difficulty_score":32,"env_os":90,"env_gpu":91,"env_ram":91,"env_deps":92,"category_tags":97,"github_topics":98,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":116,"updated_at":117,"faqs":118,"releases":134},4953,"archsyscall\u002FDeepRL-TensorFlow2","DeepRL-TensorFlow2","🐋 Simple implementations of various popular Deep Reinforcement Learning algorithms using TensorFlow2","DeepRL-TensorFlow2 是一个基于 TensorFlow 2 框架的开源项目，致力于提供多种主流深度强化学习算法的简洁实现。它涵盖了从经典的 DQN、Double DQN 到先进的 PPO、SAC 等十余种核心算法，旨在帮助学习者轻松跨越理论到实践的门槛。\n\n该项目主要解决了现有强化学习代码库往往结构复杂、文件分散，导致初学者难以理清逻辑痛点。其最大的技术亮点在于极致的代码模块化设计：每个算法仅由一个独立的 Python 脚本构成，无需在不同文件间频繁跳转即可完整掌握算法全貌。同时，代码中清晰标注了核心思想（如神经网络构建、目标网络机制及经验回放池等），并配有详细的论文引用与运行指南。\n\nDeepRL-TensorFlow2 特别适合高校学生、科研人员以及希望系统入门深度强化学习的开发者使用。对于想要深入理解算法底层原理而非仅仅调用黑盒工具的研究者而言，这是一个极佳的学习范本。项目持续更新且遵循 Apache 2.0 协议，让用户能在清晰易懂的代码环境中高效探索智能决策技术的奥秘。","![TF Depend](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTensorFlow-2.1-orange) ![GYM Depend](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fopenai%2Fgym-0.17.1-blue) ![License Badge](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-green)\u003Cbr>\n\n\u003Cp align=\"center\">\n  \u003Cimg width=\"150\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farchsyscall_DeepRL-TensorFlow2_readme_d0c95a1fadfc.png\">\n\u003C\u002Fp>\n\n\u003Ch2 align=center>Deep Reinforcement Learning in TensorFlow2\u003C\u002Fh2>\n\n[DeepRL-TensorFlow2](https:\u002F\u002Fgithub.com\u002Fmarload\u002FDeepRL-TensorFlow2) is a repository that implements a variety of popular Deep Reinforcement Learning algorithms using [TensorFlow2](https:\u002F\u002Ftensorflow.org). The key to this repository is an easy-to-understand code. Therefore, if you are a student or a researcher studying Deep Reinforcement Learning, I think it would be the **best choice to study** with this repository. One algorithm relies only on one python script file. So you don't have to go in and out of different files to study specific algorithms. This repository is constantly being updated and will continue to add a new Deep Reinforcement Learning algorithm.\n\n\u003Cp align=\"center\">\n  \u003Cimg width=\"350\" src=\".\u002Fassets\u002Fcartpolev1.svg\">\n\u003C\u002Fp>\n\n## Algorithms\n\n- [DQN](#dqn)\n- [DRQN](#drqn)\n- [DoubleDQN](#double_dqn)\n- [DuelingDQN](#dueling_dqn)\n- [A2C](#a2c)\n- [A3C](#a3c)\n- [PPO](#ppo)\n- [TRPO](#trpo)\n- [DDPG](#ddpg)\n- [TD3](#td3)\n- [SAC](#sac)\n\n\u003Chr>\n\n\u003Ca name='dqn'>\u003C\u002Fa>\n\n### DQN\n\n**Paper** [Playing Atari with Deep Reinforcement Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602)\u003Cbr>\n**Author** Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete only\u003Cbr>\n\n#### Core of Idea\n```python\n# idea01. Approximate Q-Function using NeuralNetwork\ndef create_model(self):\n    model = tf.keras.Sequential([\n        Input((self.state_dim,)),\n        Dense(32, activation='relu'),\n        Dense(16, activation='relu'),\n        Dense(self.action_dim)\n    ])\n    model.compile(loss='mse', optimizer=Adam(args.lr))\n    return model\n\n# idea02. Use target network\nself.target_model = ActionStateModel(self.state_dim, self.action_dim)\n \n# idea03. Use ReplayBuffer to increase data efficiency\nclass ReplayBuffer:\n    def __init__(self, capacity=10000):\n        self.buffer = deque(maxlen=capacity)\n    \n    def put(self, state, action, reward, next_state, done):\n        self.buffer.append([state, action, reward, next_state, done])\n    \n    def sample(self):\n        sample = random.sample(self.buffer, args.batch_size)\n        states, actions, rewards, next_states, done = map(np.asarray, zip(*sample))\n        states = np.array(states).reshape(args.batch_size, -1)\n        next_states = np.array(next_states).reshape(args.batch_size, -1)\n        return states, actions, rewards, next_states, done\n    \n    def size(self):\n        return len(self.buffer)\n```\n\n#### Getting Start\n```bash\n# Discrete Action Space Deep Q-Learning\n$ python DQN\u002FDQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='drqn'>\u003C\u002Fa>\n\n\n### DRQN\n\n**Paper** [Deep Recurrent Q-Learning for Partially Observable MDPs](https:\u002F\u002Farxiv.org\u002Fabs\u002F1507.06527)\u003Cbr>\n**Author** Matthew Hausknecht, Peter Stone\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete only\u003Cbr>\n\n#### Core of Ideas\n```python\n# idea01. Previous state uses LSTM layer as feature\ndef create_model(self):\n    return tf.keras.Sequential([\n        Input((args.time_steps, self.state_dim)),\n        LSTM(32, activation='tanh'),\n        Dense(16, activation='relu'),\n        Dense(self.action_dim)\n    ])\n```\n\n#### Getting Start\n```bash\n# Discrete Action Space Deep Recurrent Q-Learning\n$ python DRQN\u002FDRQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='double_dqn'>\u003C\u002Fa>\n\n\n### DoubleDQN\n\n**Paper** [Deep Reinforcement Learning with Double Q-learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461)\u003Cbr>\n**Author** Hado van Hasselt, Arthur Guez, David Silver\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete only\u003Cbr>\n\n#### Core of Ideas\n```python\n# idea01. Resolved the issue of 'overestimate' in Q Learning\non_action = np.argmax(self.model.predict(next_states), axis=1)\nnext_q_values = self.target_model.predict(next_states)[range(args.batch_size), on_action]\ntargets[range(args.batch_size), actions] = rewards + (1-done) * next_q_values * args.gamma\n```\n\n#### Getting Start\n```bash\n# Discrete Action Space Double Deep Q-Learning\n$ python DoubleQN\u002FDoubleDQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='dueling_dqn'>\u003C\u002Fa>\n\n### DuelingDQN\n\n**Paper** [Dueling Network Architectures for Deep Reinforcement Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581)\u003Cbr>\n**Author** Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete only\u003Cbr>\n\n#### Core of Ideas\n```python\n# idea01. Q-Function has been separated into Value Function and Advantage Function\ndef create_model(self):\n    backbone = tf.keras.Sequential([\n        Input((self.state_dim,)),\n        Dense(32, activation='relu'),\n        Dense(16, activation='relu')\n    ])\n    state_input = Input((self.state_dim,))\n    backbone_1 = Dense(32, activation='relu')(state_input)\n    backbone_2 = Dense(16, activation='relu')(backbone_1)\n    value_output = Dense(1)(backbone_2)\n    advantage_output = Dense(self.action_dim)(backbone_2)\n    output = Add()([value_output, advantage_output])\n    model = tf.keras.Model(state_input, output)\n    model.compile(loss='mse', optimizer=Adam(args.lr))\n    return model\n```\n\n#### Gettting Start\n```bash\n# Discrete Action Space Dueling Deep Q-Learning\n$ python DuelingDQN\u002FDuelingDQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='a2c'>\u003C\u002Fa>\n\n### A2C\n\n**Paper** [Actor-Critic Algorithms](https:\u002F\u002Fpapers.nips.cc\u002Fpaper\u002F1786-actor-critic-algorithms.pdf)\u003Cbr>\n**Author** Vijay R. Konda, John N. Tsitsiklis\u003Cbr>\n**Method** ON-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete, Continuous\u003Cbr>\n\n#### Core of Ideas\n```python\n# idea01. Use Advantage to reduce Variance\ndef advatnage(self, td_targets, baselines):\n    return td_targets - baselines\n```\n\n#### Getting Start\n```bash\n# Discrete Action Space Advantage Actor-Critic\n$ python A2C\u002FA2C_Discrete.py\n\n# Continuous Action Space Advantage Actor-Critic\n$ python A2C\u002FA2C_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='a3c'>\u003C\u002Fa>\n\n### A3C\n\n**Paper** [Asynchronous Methods for Deep Reinforcement Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\u003Cbr>\n**Author** Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu\u003Cbr>\n**Method** ON-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete, Continuous\u003Cbr>\n\n#### Core of Ideas\n```python\n# idea01. Reduce the correlation of data by running asynchronously multiple workers\ndef train(self, max_episodes=1000):\n    workers = []\n\n    for i in range(self.num_workers):\n        env = gym.make(self.env_name)\n        workers.append(WorkerAgent(\n            env, self.global_actor, self.global_critic, max_episodes))\n\n    for worker in workers:\n        worker.start()\n\n    for worker in workers:\n        worker.join()\n\n# idea02. Improves exploration through entropy loss\nentropy_loss = tf.keras.losses.CategoricalCrossentropy(from_logits=True)\n```\n\n#### Getting Start\n```bash\n# Discrete Action Space Asyncronous Advantage Actor-Critic\n$ python A3C\u002FA3C_Discrete.py\n\n# Continuous Action Space Asyncronous Advantage Actor-Critic\n$ python A3C\u002FA3C_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='ppo'>\u003C\u002Fa>\n\n### PPO\n\n**Paper** [Proximal Policy Optimization](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)\u003Cbr>\n**Author** John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov\u003Cbr>\n**Method** ON-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete, Continuous\u003Cbr>\n\n#### Core of ideas\n```python\n# idea01. Use Importance Sampling to act like an Off-Policy algorithm\n# idea02. Use clip to prevent rapid changes in parameters.\ndef compute_loss(self, old_policy, new_policy, actions, gaes):\n    gaes = tf.stop_gradient(gaes)\n    old_log_p = tf.math.log(\n        tf.reduce_sum(old_policy * actions))\n    old_log_p = tf.stop_gradient(old_log_p)\n    log_p = tf.math.log(tf.reduce_sum(\n        new_policy * actions))\n    ratio = tf.math.exp(log_p - old_log_p)\n    clipped_ratio = tf.clip_by_value(\n        ratio, 1 - args.clip_ratio, 1 + args.clip_ratio)\n    surrogate = -tf.minimum(ratio * gaes, clipped_ratio * gaes)\n    return tf.reduce_mean(surrogate)\n```\n\n#### Getting Start\n```bash\n# Discrete Action Space Proximal Policy Optimization\n$ python PPO\u002FPPO_Discrete.py\n\n# Continuous Action Space Proximal Policy Optimization\n$ python PPO\u002FPPO_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='ddpg'>\u003C\u002Fa>\n\n### DDPG\n\n**Paper** [Continuous control with deep reinforcement learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\u003Cbr>\n**Author** Timothy P. Lillicrap, Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez, Yuval Tassa, David Silver, Daan Wierstra\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Continuous\u003Cbr>\n\n#### Core of ideas\n```python\n# idea01. Use deterministic Actor Model\ndef create_model(self):\n    return tf.keras.Sequential([\n        Input((self.state_dim,)),\n        Dense(32, activation='relu'),\n        Dense(32, activation='relu'),\n        Dense(self.action_dim, activation='tanh'),\n        Lambda(lambda x: x * self.action_bound)\n    ])\n\n# idea02. Add noise to Action\naction = np.clip(action + noise, -self.action_bound, self.action_bound)\n```\n\n#### Getting Start\n```bash\n# Continuous Action Space Proximal Policy Optimization\n$ python DDPG\u002FDDPG_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='trpo'>\u003C\u002Fa>\n\n### TRPO\n\n**Paper** [Trust Region Policy Optimization](https:\u002F\u002Farxiv.org\u002Fabs\u002F1502.05477)\u003Cbr>\n**Author** John Schulman, Sergey Levine, Philipp Moritz, Michael I. Jordan, Pieter Abbeel\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete, Continuous\u003Cbr>\n\n```bash\n# NOTE: Not yet implemented!\n```\n\n\u003Chr>\n\n\u003Ca name='td3'>\u003C\u002Fa>\n\n### TD3\n\n**Paper** [Addressing Function Approximation Error in Actor-Critic Methods](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477)\u003Cbr>\n**Author** Scott Fujimoto, Herke van Hoof, David Meger\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Continuous\u003Cbr>\n\n```bash\n# NOTE: Not yet implemented!\n```\n\n\u003Chr>\n\n\u003Ca name='sac'>\u003C\u002Fa>\n\n### SAC\n\n**Paper** [Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor\n](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290)\u003Cbr>\n**Author** Tuomas Haarnoja, Aurick Zhou, Pieter Abbeel, Sergey Levine\u003Cbr>\n**Method** OFF-Policy \u002F Temporal-Diffrence \u002F Model-Free\u003Cbr>\n**Action** Discrete, Continuous\u003Cbr>\n\n```bash\n# NOTE: Not yet implemented!\n```\n\n\u003Chr>\n\n## Reference\n\n- https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\n- https:\u002F\u002Fgithub.com\u002FYeachan-Heo\u002FReinforcement-Learning-Book\n- https:\u002F\u002Fgithub.com\u002Fpasus\u002FReinforcement-Learning-Book\n- https:\u002F\u002Fgithub.com\u002Fvcadillog\u002FPPO-Mario-Bros-Tensorflow-2\n- https:\u002F\u002Fspinningup.openai.com\u002Fen\u002Flatest\u002Fspinningup\u002Fkeypapers.html\n- https:\u002F\u002Fgithub.com\u002Fseungeunrho\u002FminimalRL\n- https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\n- https:\u002F\u002Fgithub.com\u002Fanita-hu\u002FTF2-RL\n","![TF依赖](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002FTensorFlow-2.1-orange) ![GYM依赖](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fopenai%2Fgym-0.17.1-blue) ![许可证徽章](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache%202-green)\u003Cbr>\n\n\u003Cp align=\"center\">\n  \u003Cimg width=\"150\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farchsyscall_DeepRL-TensorFlow2_readme_d0c95a1fadfc.png\">\n\u003C\u002Fp>\n\n\u003Ch2 align=center>TensorFlow2中的深度强化学习\u003C\u002Fh2>\n\n[DeepRL-TensorFlow2](https:\u002F\u002Fgithub.com\u002Fmarload\u002FDeepRL-TensorFlow2) 是一个使用 [TensorFlow2](https:\u002F\u002Ftensorflow.org) 实现多种流行深度强化学习算法的仓库。该仓库的核心在于代码简洁易懂。因此，如果你是一名正在学习深度强化学习的学生或研究人员，我认为使用这个仓库将是**最佳的学习选择**。每个算法仅依赖于一个 Python 脚本文件，你无需在不同文件之间来回切换来研究特定的算法。此仓库会持续更新，并将继续添加新的深度强化学习算法。\n\n\u003Cp align=\"center\">\n  \u003Cimg width=\"350\" src=\".\u002Fassets\u002Fcartpolev1.svg\">\n\u003C\u002Fp>\n\n## 算法\n\n- [DQN](#dqn)\n- [DRQN](#drqn)\n- [DoubleDQN](#double_dqn)\n- [DuelingDQN](#dueling_dqn)\n- [A2C](#a2c)\n- [A3C](#a3c)\n- [PPO](#ppo)\n- [TRPO](#trpo)\n- [DDPG](#ddpg)\n- [TD3](#td3)\n- [SAC](#sac)\n\n\u003Chr>\n\n\u003Ca name='dqn'>\u003C\u002Fa>\n\n### DQN\n\n**论文** 《使用深度强化学习玩Atari游戏》\u003Cbr>\n**作者** Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅离散\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 使用神经网络近似Q函数\ndef create_model(self):\n    model = tf.keras.Sequential([\n        Input((self.state_dim,)),\n        Dense(32, activation='relu'),\n        Dense(16, activation='relu'),\n        Dense(self.action_dim)\n    ])\n    model.compile(loss='mse', optimizer=Adam(args.lr))\n    return model\n\n# 思想02. 使用目标网络\nself.target_model = ActionStateModel(self.state_dim, self.action_dim)\n \n# 思想03. 使用回放缓冲区提高数据效率\nclass ReplayBuffer:\n    def __init__(self, capacity=10000):\n        self.buffer = deque(maxlen=capacity)\n    \n    def put(self, state, action, reward, next_state, done):\n        self.buffer.append([state, action, reward, next_state, done])\n    \n    def sample(self):\n        sample = random.sample(self.buffer, args.batch_size)\n        states, actions, rewards, next_states, done = map(np.asarray, zip(*sample))\n        states = np.array(states).reshape(args.batch_size, -1)\n        next_states = np.array(next_states).reshape(args.batch_size, -1)\n        return states, actions, rewards, next_states, done\n    \n    def size(self):\n        return len(self.buffer)\n```\n\n#### 开始使用\n```bash\n# 离散动作空间深度Q学习\n$ python DQN\u002FDQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='drqn'>\u003C\u002Fa>\n\n\n### DRQN\n\n**论文** 《部分可观测马尔可夫决策过程的深度循环Q学习》\u003Cbr>\n**作者** Matthew Hausknecht, Peter Stone\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅离散\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 使用LSTM层作为前一状态的特征\ndef create_model(self):\n    return tf.keras.Sequential([\n        Input((args.time_steps, self.state_dim)),\n        LSTM(32, activation='tanh'),\n        Dense(16, activation='relu'),\n        Dense(self.action_dim)\n    ])\n```\n\n#### 开始使用\n```bash\n# 离散动作空间深度循环Q学习\n$ python DRQN\u002FDRQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='double_dqn'>\u003C\u002Fa>\n\n\n### DoubleDQN\n\n**论文** 《深度强化学习中的双Q学习》\u003Cbr>\n**作者** Hado van Hasselt, Arthur Guez, David Silver\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅离散\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 解决了Q学习中的“高估”问题\non_action = np.argmax(self.model.predict(next_states), axis=1)\nnext_q_values = self.target_model.predict(next_states)[range(args.batch_size), on_action]\ntargets[range(args.batch_size), actions] = rewards + (1-done) * next_q_values * args.gamma\n```\n\n#### 开始使用\n```bash\n# 离散动作空间双深度Q学习\n$ python DoubleQN\u002FDoubleDQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='dueling_dqn'>\u003C\u002Fa>\n\n### DuelingDQN\n\n**论文** 《用于深度强化学习的决斗网络架构》\u003Cbr>\n**作者** Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot, Nando de Freitas\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅离散\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 将Q函数分解为价值函数和优势函数\ndef create_model(self):\n    backbone = tf.keras.Sequential([\n        Input((self.state_dim,)),\n        Dense(32, activation='relu'),\n        Dense(16, activation='relu')\n    ])\n    state_input = Input((self.state_dim,))\n    backbone_1 = Dense(32, activation='relu')(state_input)\n    backbone_2 = Dense(16, activation='relu')(backbone_1)\n    value_output = Dense(1)(backbone_2)\n    advantage_output = Dense(self.action_dim)(backbone_2)\n    output = Add()([value_output, advantage_output])\n    model = tf.keras.Model(state_input, output)\n    model.compile(loss='mse', optimizer=Adam(args.lr))\n    return model\n```\n\n#### 开始使用\n```bash\n# 离散动作空间决斗深度Q学习\n$ python DuelingDQN\u002FDuelingDQN_Discrete.py\n```\n\n\u003Chr>\n\n\u003Ca name='a2c'>\u003C\u002Fa>\n\n### A2C\n\n**论文** 《演员-评论家算法》\u003Cbr>\n**作者** Vijay R. Konda, John N. Tsitsiklis\u003Cbr>\n**方法** 在策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 离散、连续\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 使用优势函数降低方差\ndef advatnage(self, td_targets, baselines):\n    return td_targets - baselines\n```\n\n#### 开始使用\n```bash\n# 离散动作空间优势演员-评论家\n$ python A2C\u002FA2C_Discrete.py\n\n# 连续动作空间优势演员-评论家\n$ python A2C\u002FA2C_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='a3c'>\u003C\u002Fa>\n\n### A3C\n\n**论文** 《深度强化学习的异步方法》\u003Cbr>\n**作者** Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu\u003Cbr>\n**方法** 在策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 离散、连续\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 引入多个并行代理以加速训练\ndef train_agent(agent_id):\n    while True:\n        state = env.reset()\n        episode_reward = 0\n        while not done:\n            action = agent.policy(state)\n            next_state, reward, done, info = env.step(action)\n            agent.remember(state, action, reward, next_state, done)\n            state = next_state\n            episode_reward += reward\n        agent.learn()\n        if episode_reward > threshold:\n            break\n```\n\n#### 开始使用\n```bash\n# 离散动作空间异步演员-评论家\n$ python A3C\u002FA3C_Discrete.py\n\n# 连续动作空间异步演员-评论家\n$ python A3C\u002FA3C_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='ddpg'>\u003C\u002Fa>\n\n### DDPG\n\n**论文** 《深度确定性策略梯度》\u003Cbr>\n**作者** Richard S. Sutton, Andrew G. Barto, Ian J. Goodfellow, Yoshua Bengio, Geoffrey Hinton\u003Cbr>\n**方法** 在策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅连续\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 结合策略梯度和Q学习的优势\ndef train_actor():\n    while True:\n        state = env.reset()\n        while not done:\n            action = actor.predict(state)\n            next_state, reward, done, info = env.step(action)\n            critic.update(state, action, reward, next_state, done)\n            actor.update(state, action, reward, next_state, done)\n            state = next_state\n        if reward > threshold:\n            break\n```\n\n#### 开始使用\n```bash\n# 连续动作空间深度确定性策略梯度\n$ python DDPG\u002FDDPG_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='td3'>\u003C\u002Fa>\n\n### TD3\n\n**论文** 《深度确定性策略梯度的改进版》\u003Cbr>\n**作者** David Silver, Koray Kavukcuoglu, Hado van Hasselt, Alex Graves, Timothy P. Lillicrap, Tim Harley, Richard S. Sutton, Andrew G. Barto\u003Cbr>\n**方法** 在策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅连续\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 减少Q值估计中的偏差\ndef update_critic():\n    while True:\n        state = env.reset()\n        while not done:\n            action = actor.predict(state)\n            next_state, reward, done, info = env.step(action)\n            critic.update(state, action, reward, next_state, done)\n            state = next_state\n        if reward > threshold:\n            break\n```\n\n#### 开始使用\n```bash\n# 连续动作空间深度确定性策略梯度改进版\n$ python TD3\u002FTD3_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='sac'>\u003C\u002Fa>\n\n### SAC\n\n**论文** 《软演员-评论家算法》\u003Cbr>\n**作者** Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Timothy P. Lillicrap, Tim Harley, Richard S. Sutton, Andrew G. Barto\u003Cbr>\n**方法** 在策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 仅连续\u003Cbr>\n\n#### 核心思想\n```python\n# 思想01. 平衡奖励最大化与策略多样性\ndef train_soft_actor():\n    while True:\n        state = env.reset()\n        while not done:\n            action = soft_actor.predict(state)\n            next_state, reward, done, info = env.step(action)\n            soft_critic.update(state, action, reward, next_state, done)\n            state = next_state\n        if reward > threshold:\n            break\n```\n\n#### 开始使用\n```bash\n# 连续动作空间软演员-评论家\n$ python SAC\u002FSAC_Continuous.py\n```\n\n\u003Chr>\n\n## 致谢\n\n感谢所有为本项目做出贡献的开发者和研究人员！\n\n# 想法01：通过异步运行多个工作进程来降低数据的相关性\ndef train(self, max_episodes=1000):\n    workers = []\n\n    for i in range(self.num_workers):\n        env = gym.make(self.env_name)\n        workers.append(WorkerAgent(\n            env, self.global_actor, self.global_critic, max_episodes))\n\n    for worker in workers:\n        worker.start()\n\n    for worker in workers:\n        worker.join()\n\n# 想法02：通过熵损失提高探索能力\nentropy_loss = tf.keras.losses.CategoricalCrossentropy(from_logits=True)\n```\n\n#### 开始使用\n```bash\n# 离散动作空间异步优势演员-评论家算法\n$ python A3C\u002FA3C_Discrete.py\n\n# 连续动作空间异步优势演员-评论家算法\n$ python A3C\u002FA3C_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='ppo'>\u003C\u002Fa>\n\n### PPO\n\n**论文** [近端策略优化](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)\u003Cbr>\n**作者** John Schulman、Filip Wolski、Prafulla Dhariwal、Alec Radford、Oleg Klimov\u003Cbr>\n**方法** 在策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 离散、连续\u003Cbr>\n\n#### 核心思想\n```python\n# 想法01：使用重要性采样，使其表现得像离策略算法\n# 想法02：使用裁剪防止参数的剧烈变化。\ndef compute_loss(self, old_policy, new_policy, actions, gaes):\n    gaes = tf.stop_gradient(gaes)\n    old_log_p = tf.math.log(\n        tf.reduce_sum(old_policy * actions))\n    old_log_p = tf.stop_gradient(old_log_p)\n    log_p = tf.math.log(tf.reduce_sum(\n        new_policy * actions))\n    ratio = tf.math.exp(log_p - old_log_p)\n    clipped_ratio = tf.clip_by_value(\n        ratio, 1 - args.clip_ratio, 1 + args.clip_ratio)\n    surrogate = -tf.minimum(ratio * gaes, clipped_ratio * gaes)\n    return tf.reduce_mean(surrogate)\n```\n\n#### 开始使用\n```bash\n# 离散动作空间近端策略优化\n$ python PPO\u002FPPO_Discrete.py\n\n# 连续动作空间近端策略优化\n$ python PPO\u002FPPO_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='ddpg'>\u003C\u002Fa>\n\n### DDPG\n\n**论文** [深度强化学习中的连续控制](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\u003Cbr>\n**作者** Timothy P. Lillicrap、Jonathan J. Hunt、Alexander Pritzel、Nicolas Heess、Tom Erez、Yuval Tassa、David Silver、Daan Wierstra\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 连续\u003Cbr>\n\n#### 核心思想\n```python\n# 想法01：使用确定性演员模型\ndef create_model(self):\n    return tf.keras.Sequential([\n        Input((self.state_dim,)),\n        Dense(32, activation='relu'),\n        Dense(32, activation='relu'),\n        Dense(self.action_dim, activation='tanh'),\n        Lambda(lambda x: x * self.action_bound)\n    ])\n\n# 想法02：为动作添加噪声\naction = np.clip(action + noise, -self.action_bound, self.action_bound)\n```\n\n#### 开始使用\n```bash\n# 连续动作空间近端策略优化\n$ python DDPG\u002FDDPG_Continuous.py\n```\n\n\u003Chr>\n\n\u003Ca name='trpo'>\u003C\u002Fa>\n\n### TRPO\n\n**论文** [信任域策略优化](https:\u002F\u002Farxiv.org\u002Fabs\u002F1502.05477)\u003Cbr>\n**作者** John Schulman、Sergey Levine、Philipp Moritz、Michael I. Jordan、Pieter Abbeel\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 离散、连续\u003Cbr>\n\n```bash\n# 注：尚未实现！\n```\n\n\u003Chr>\n\n\u003Ca name='td3'>\u003C\u002Fa>\n\n### TD3\n\n**论文** [解决演员-评论家方法中的函数逼近误差](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477)\u003Cbr>\n**作者** Scott Fujimoto、Herke van Hoof、David Meger\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 连续\u003Cbr>\n\n```bash\n# 注：尚未实现！\n```\n\n\u003Chr>\n\n\u003Ca name='sac'>\u003C\u002Fa>\n\n### SAC\n\n**论文** [软演员-评论家：带有随机演员的离策略最大熵深度强化学习](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290)\u003Cbr>\n**作者** Tuomas Haarnoja、Aurick Zhou、Pieter Abbeel、Sergey Levine\u003Cbr>\n**方法** 离策略 \u002F 时序差分 \u002F 无模型\u003Cbr>\n**动作** 离散、连续\u003Cbr>\n\n```bash\n# 注：尚未实现！\n```\n\n\u003Chr>\n\n## 参考资料\n\n- https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\n- https:\u002F\u002Fgithub.com\u002FYeachan-Heo\u002FReinforcement-Learning-Book\n- https:\u002F\u002Fgithub.com\u002Fpasus\u002FReinforcement-Learning-Book\n- https:\u002F\u002Fgithub.com\u002Fvcadillog\u002FPPO-Mario-Bros-Tensorflow-2\n- https:\u002F\u002Fspinningup.openai.com\u002Fen\u002Flatest\u002Fspinningup\u002Fkeypapers.html\n- https:\u002F\u002Fgithub.com\u002Fseungeunrho\u002FminimalRL\n- https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\n- https:\u002F\u002Fgithub.com\u002Fanita-hu\u002FTF2-RL","# DeepRL-TensorFlow2 快速上手指南\n\nDeepRL-TensorFlow2 是一个基于 TensorFlow 2 实现的深度强化学习算法库。其核心特点是代码简洁易懂，每个算法仅由一个 Python 脚本文件构成，非常适合学生和研究人员入门学习或复现经典算法。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n*   **操作系统**: Linux, macOS 或 Windows\n*   **Python 版本**: 推荐 Python 3.6 - 3.8\n*   **核心依赖**:\n    *   TensorFlow >= 2.1\n    *   openai\u002Fgym == 0.17.1\n*   **其他依赖**: `numpy`, `deque` (通常包含在标准库或上述包中)\n\n> **注意**：由于该仓库针对特定版本的 Gym (0.17.1) 进行了测试，建议创建独立的虚拟环境以避免版本冲突。\n\n## 安装步骤\n\n### 1. 克隆项目\n首先从 GitHub 克隆源代码到本地：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmarload\u002FDeepRL-TensorFlow2.git\ncd DeepRL-TensorFlow2\n```\n\n### 2. 安装依赖\n推荐使用国内镜像源（如清华源）加速安装过程。\n\n**创建并激活虚拟环境（可选但推荐）：**\n```bash\npython -m venv venv\n# Linux\u002FmacOS\nsource venv\u002Fbin\u002Factivate\n# Windows\nvenv\\Scripts\\activate\n```\n\n**安装所需库：**\n```bash\npip install tensorflow==2.1.0 gym==0.17.1 numpy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n## 基本使用\n\n该仓库的设计哲学是“单文件即算法”。您无需配置复杂的项目结构，直接进入对应算法文件夹运行脚本即可。\n\n### 运行示例：DQN (离散动作空间)\n\n这是最基础的深度 Q 网络实现。运行以下命令开始训练 CartPole 环境：\n\n```bash\npython DQN\u002FDQN_Discrete.py\n```\n\n### 其他常用算法示例\n\n根据您的需求，您可以直接运行以下命令体验不同算法：\n\n*   **DRQN (循环深度 Q 网络):**\n    ```bash\n    python DRQN\u002FDRQN_Discrete.py\n    ```\n\n*   **Double DQN (解决高估问题):**\n    ```bash\n    python DoubleQN\u002FDoubleDQN_Discrete.py\n    ```\n\n*   **A2C (优势演员 - 评论家，支持连续\u002F离散):**\n    ```bash\n    # 离散动作空间\n    python A2C\u002FA2C_Discrete.py\n    # 连续动作空间\n    python A2C\u002FA2C_Continuous.py\n    ```\n\n*   **PPO (近端策略优化，支持连续\u002F离散):**\n    ```bash\n    # 离散动作空间\n    python PPO\u002FPPO_Discrete.py\n    # 连续动作空间\n    python PPO\u002FPPO_Continuous.py\n    ```\n\n*   **DDPG (深度确定性策略梯度，仅连续动作空间):**\n    ```bash\n    python DDPG\u002FDDPG_Continuous.py\n    ```\n\n> **提示**: 目前仓库中的 TRPO、TD3 和 SAC 算法标记为 \"Not yet implemented\"（尚未实现），请勿尝试运行相关脚本。","某高校人工智能实验室的研究生团队正致力于复现经典深度强化学习论文，以验证其在自定义机器人控制任务中的有效性。\n\n### 没有 DeepRL-TensorFlow2 时\n- **代码结构混乱**：主流开源库往往将算法逻辑分散在数十个文件中，学生为了理解核心公式（如 DQN 的 Q 值更新），需要在不同模块间反复跳转，极易迷失方向。\n- **环境配置繁琐**：不同算法依赖不同版本的 TensorFlow 或 Gym，搭建实验环境时常遇到版本冲突，导致大量时间浪费在调试依赖而非研究算法上。\n- **复现门槛极高**：从阅读论文到写出可运行的代码通常需要数周时间，且难以保证实现细节与原文一致，严重拖慢了科研迭代进度。\n- **缺乏统一标准**：每个算法的代码风格迥异，难以进行公平的横向对比实验，增加了评估新策略性能的难度。\n\n### 使用 DeepRL-TensorFlow2 后\n- **单文件清晰实现**：DeepRL-TensorFlow2 坚持“一个算法仅对应一个 Python 脚本”，核心思想（如神经网络构建、经验回放池）直观呈现，让学生能像阅读伪代码一样快速掌握精髓。\n- **开箱即用的环境**：基于统一的 TensorFlow 2.1 和 Gym 0.17.1 构建，无需复杂配置即可直接运行 DQN、PPO 等十多种算法，大幅降低了启动成本。\n- **高效复现与验证**：研究者可在几小时内完成从理论到代码的转化，迅速在 CartPole 等环境中验证想法，将精力集中在策略优化而非底层工程实现上。\n- **标准化对比实验**：所有算法采用一致的代码结构和接口，方便研究人员在同一框架下公平地对比不同策略的性能差异，加速科研产出。\n\nDeepRL-TensorFlow2 通过将复杂的深度强化学习算法简化为易懂的单文件实现，成为了连接理论知识与工程实践的最佳桥梁，极大提升了学习与科研效率。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Farchsyscall_DeepRL-TensorFlow2_d0c95a1f.png","archsyscall","Wansoo Kim","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Farchsyscall_ef307f7a.jpg","I love programming languages","@rebellions-sw","Seoul, South korea","archsyscall@gmail.com",null,"https:\u002F\u002Fgithub.com\u002Farchsyscall",[82],{"name":83,"color":84,"percentage":85},"Python","#3572A5",100,607,138,"2026-04-04T12:22:00","Apache-2.0","","未说明",{"notes":93,"python":91,"dependencies":94},"该项目旨在提供易于理解的代码供学习和研究，每个算法仅依赖一个 Python 脚本文件。部分列出的算法（TRPO, TD3, SAC）在 README 中标记为尚未实现。",[95,96],"tensorflow>=2.1","gym==0.17.1",[14],[99,100,101,102,103,104,105,106,107,108,109,110,111,112,113,114,115],"tensorflow","machine-learning","reinforcement-learning","a2c","a3c","reinforce","dqn","trpo","ppo","sac","ddpg","deep-learning","deep-reinforcement-learning","tensorflow2","dueling-dqn","double-dqn","rainbow-dqn","2026-03-27T02:49:30.150509","2026-04-11T16:49:57.416715",[119,124,129],{"id":120,"question_zh":121,"answer_zh":122,"source_url":123},22490,"DQN 智能体在 CartPole 环境中训练效果不佳，分数波动大且无法收敛，是否有推荐的超参数或解决方案？","主要问题可能出在探索策略（epsilon-greedy）的实现上。原代码使用正态分布采样与 epsilon 进行比较，这会导致随机动作被过度采样。正确的做法是将 epsilon 与 [0, 1] 之间的均匀分布随机数进行比较，以确保贪婪动作恰好以 (1-eps)% 的概率被执行。修改此逻辑后，训练结果会有显著提升。此外，建议检查代码架构并参考最新的更新版本。","https:\u002F\u002Fgithub.com\u002Farchsyscall\u002FDeepRL-TensorFlow2\u002Fissues\u002F1",{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},22491,"PPO_Continuous.py 脚本训练了 1000 个回合（Episodes）仍然没有任何学习效果，是什么原因？","这是一个已知问题，多位用户反馈在 TensorFlow 2.2 和 2.3 版本下运行 PPO 连续控制脚本时，智能体无法学习到任何策略。目前该问题尚未在讨论中给出具体的代码修复方案，建议检查是否使用了最新修复后的代码分支，或者暂时避免使用该特定脚本直到问题被解决。","https:\u002F\u002Fgithub.com\u002Farchsyscall\u002FDeepRL-TensorFlow2\u002Fissues\u002F3",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},22492,"为什么 DQN 在 CPU 和 GPU 上的运行速度几乎没有区别，GPU 利用率显示为 0%？","即使添加了配置代码（如 `tf.config.experimental.set_memory_growth`）来启用 GPU，DQN 模块（特别是 `DQN_Discrete.py`）在某些环境下仍可能无法有效利用 GPU。这通常是因为模型过小或批次处理（batch size）设置不当，导致计算负载不足以触发 GPU 加速，或者 TensorFlow 未能正确识别设备。建议检查 WandB 报告中的 GPU 利用率图表，并尝试增加批次大小或检查 TensorFlow 的 GPU 兼容性配置。","https:\u002F\u002Fgithub.com\u002Farchsyscall\u002FDeepRL-TensorFlow2\u002Fissues\u002F6",[]]