[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-keras-rl--keras-rl":3,"tool-keras-rl--keras-rl":61},[4,18,28,37,45,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":24,"last_commit_at":25,"category_tags":26,"status":17},9989,"n8n","n8n-io\u002Fn8n","n8n 是一款面向技术团队的公平代码（fair-code）工作流自动化平台，旨在让用户在享受低代码快速构建便利的同时，保留编写自定义代码的灵活性。它主要解决了传统自动化工具要么过于封闭难以扩展、要么完全依赖手写代码效率低下的痛点，帮助用户轻松连接 400 多种应用与服务，实现复杂业务流程的自动化。\n\nn8n 特别适合开发者、工程师以及具备一定技术背景的业务人员使用。其核心亮点在于“按需编码”：既可以通过直观的可视化界面拖拽节点搭建流程，也能随时插入 JavaScript 或 Python 代码、调用 npm 包来处理复杂逻辑。此外，n8n 原生集成了基于 LangChain 的 AI 能力，支持用户利用自有数据和模型构建智能体工作流。在部署方面，n8n 提供极高的自由度，支持完全自托管以保障数据隐私和控制权，也提供云端服务选项。凭借活跃的社区生态和数百个现成模板，n8n 让构建强大且可控的自动化系统变得简单高效。",184740,2,"2026-04-19T23:22:26",[16,14,13,15,27],"插件",{"id":29,"name":30,"github_repo":31,"description_zh":32,"stars":33,"difficulty_score":10,"last_commit_at":34,"category_tags":35,"status":17},10095,"AutoGPT","Significant-Gravitas\u002FAutoGPT","AutoGPT 是一个旨在让每个人都能轻松使用和构建 AI 的强大平台，核心功能是帮助用户创建、部署和管理能够自动执行复杂任务的连续型 AI 智能体。它解决了传统 AI 应用中需要频繁人工干预、难以自动化长流程工作的痛点，让用户只需设定目标，AI 即可自主规划步骤、调用工具并持续运行直至完成任务。\n\n无论是开发者、研究人员，还是希望提升工作效率的普通用户，都能从 AutoGPT 中受益。开发者可利用其低代码界面快速定制专属智能体；研究人员能基于开源架构探索多智能体协作机制；而非技术背景用户也可直接选用预置的智能体模板，立即投入实际工作场景。\n\nAutoGPT 的技术亮点在于其模块化“积木式”工作流设计——用户通过连接功能块即可构建复杂逻辑，每个块负责单一动作，灵活且易于调试。同时，平台支持本地自托管与云端部署两种模式，兼顾数据隐私与使用便捷性。配合完善的文档和一键安装脚本，即使是初次接触的用户也能在几分钟内启动自己的第一个 AI 智能体。AutoGPT 正致力于降低 AI 应用门槛，让人人都能成为 AI 的创造者与受益者。",183572,"2026-04-20T04:47:55",[13,36,27,14,15],"语言模型",{"id":38,"name":39,"github_repo":40,"description_zh":41,"stars":42,"difficulty_score":10,"last_commit_at":43,"category_tags":44,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":46,"name":47,"github_repo":48,"description_zh":49,"stars":50,"difficulty_score":24,"last_commit_at":51,"category_tags":52,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",161147,"2026-04-19T23:31:47",[14,13,36],{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":24,"last_commit_at":59,"category_tags":60,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",109154,"2026-04-18T11:18:24",[14,15,13],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":64,"owner_name":72,"owner_avatar_url":73,"owner_bio":74,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":76,"owner_url":77,"languages":78,"stars":83,"forks":84,"last_commit_at":85,"license":86,"difficulty_score":24,"env_os":87,"env_gpu":88,"env_ram":87,"env_deps":89,"category_tags":98,"github_topics":99,"view_count":24,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":105,"updated_at":106,"faqs":107,"releases":137},10007,"keras-rl\u002Fkeras-rl","keras-rl","Deep Reinforcement Learning for Keras.","keras-rl 是一个专为 Keras 深度学习框架打造的强化学习库，旨在让开发者能轻松构建和实验先进的深度强化学习算法。它主要解决了将复杂的强化学习逻辑与成熟的神经网络模型进行高效整合的难题，让用户无需从零编写底层代码，即可快速验证想法。\n\n这款工具特别适合人工智能研究人员、算法工程师以及希望入门强化学习的开发者使用。其核心亮点在于与 OpenAI Gym 环境的无缝集成，用户只需几行代码就能在标准测试环境中评估不同算法的表现。keras-rl 内置了多种主流算法，包括深 Q 网络（DQN）及其变体（如 Double DQN、Dueling DQN）、深度确定性策略梯度（DDPG）以及连续动作空间的 CDQN 等。此外，它高度兼容 Keras 原有的回调函数与指标系统，支持用户通过简单的抽象类扩展来自定义环境或算法，具有极高的灵活性和可扩展性。无论是用于学术研究还是原型开发，keras-rl 都能提供稳定且易用的技术支持，帮助用户直观地观察智能体的学习过程。","# Deep Reinforcement Learning for Keras\n\n[![Build Status](https:\u002F\u002Fapi.travis-ci.org\u002Fkeras-rl\u002Fkeras-rl.svg?branch=master)](https:\u002F\u002Ftravis-ci.org\u002Fkeras-rl\u002Fkeras-rl)\n[![Documentation](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_13d664e1afd7.png)](http:\u002F\u002Fkeras-rl.readthedocs.io\u002F)\n[![License](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fmashape\u002Fapistatus.svg?maxAge=2592000)](https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fblob\u002Fmaster\u002FLICENSE)\n[![Join the chat at https:\u002F\u002Fgitter.im\u002Fkeras-rl\u002FLobby](https:\u002F\u002Fbadges.gitter.im\u002Fkeras-rl\u002FLobby.svg)](https:\u002F\u002Fgitter.im\u002Fkeras-rl\u002FLobby)\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_d9147389540f.gif\" width=\"200\">\u003C\u002Ftd>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_49c8611c92ee.gif\" width=\"200\">\u003C\u002Ftd>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_7145db6061b5.gif\" width=\"200\">\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## What is it?\n\n`keras-rl` implements some state-of-the art deep reinforcement learning algorithms in Python and seamlessly integrates with the deep learning library [Keras](http:\u002F\u002Fkeras.io).\n\nFurthermore, `keras-rl` works with [OpenAI Gym](https:\u002F\u002Fgym.openai.com\u002F) out of the box. This means that evaluating and playing around with different algorithms is easy.\n\nOf course you can extend `keras-rl` according to your own needs. You can use built-in Keras callbacks and metrics or define your own.\nEven more so, it is easy to implement your own environments and even algorithms by simply extending some simple abstract classes. Documentation is available [online](http:\u002F\u002Fkeras-rl.readthedocs.org).\n\n## What is included?\n\nAs of today, the following algorithms have been implemented:\n\n- [x] Deep Q Learning (DQN) [[1]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602), [[2]](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fnature14236)\n- [x] Double DQN [[3]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461)\n- [x] Deep Deterministic Policy Gradient (DDPG) [[4]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\n- [x] Continuous DQN (CDQN or NAF) [[6]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1603.00748)\n- [x] Cross-Entropy Method (CEM) [[7]](http:\u002F\u002Flearning.mpi-sws.org\u002Fmlss2016\u002Fslides\u002F2016-MLSS-RL.pdf), [[8]](http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.81.6579&rep=rep1&type=pdf)\n- [x] Dueling network DQN (Dueling DQN) [[9]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581)\n- [x] Deep SARSA [[10]](http:\u002F\u002Fpeople.inf.elte.hu\u002Florincz\u002FFiles\u002FRL_2006\u002FSuttonBook.pdf)\n- [ ] Asynchronous Advantage Actor-Critic (A3C) [[5]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\n- [ ] Proximal Policy Optimization Algorithms (PPO) [[11]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)\n\nYou can find more information on each agent in the [doc](http:\u002F\u002Fkeras-rl.readthedocs.io\u002Fen\u002Flatest\u002Fagents\u002Foverview\u002F).\n\n## Installation\n\n- Install Keras-RL from Pypi (recommended):\n\n```\npip install keras-rl\n```\n\n- Install from Github source:\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl.git\ncd keras-rl\npython setup.py install\n```\n\n## Examples\n\nIf you want to run the examples, you'll also have to install:\n\n- **gym** by OpenAI: [Installation instruction](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fgym#installation)\n- **h5py**: simply run `pip install h5py`\n\nFor atari example you will also need:\n\n- **Pillow**: `pip install Pillow`\n- **gym[atari]**: Atari module for gym. Use `pip install gym[atari]`\n\nOnce you have installed everything, you can try out a simple example:\n\n```bash\npython examples\u002Fdqn_cartpole.py\n```\n\nThis is a very simple example and it should converge relatively quickly, so it's a great way to get started!\nIt also visualizes the game during training, so you can watch it learn. How cool is that?\n\nSome sample weights are available on [keras-rl-weights](https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl-weights).\n\nIf you have questions or problems, please file an issue or, even better, fix the problem yourself and submit a pull request!\n\n## External Projects\n\n- [Starcraft II Learning Environment](https:\u002F\u002Fsoygema.github.io\u002FstarcraftII_machine_learning\u002F#0)\n\nYou're using Keras-RL on a project? Open a PR and share it!\n\n## Visualizing Training Metrics\n\nTo see graphs of your training progress and compare across runs, run `pip install wandb` and add the WandbLogger callback to your agent's `fit()` call:\n\n```python\nfrom rl.callbacks import WandbLogger\n\n...\n\nagent.fit(env, nb_steps=50000, callbacks=[WandbLogger()])\n```\n\nFor more info and options, see the [W&B docs](https:\u002F\u002Fdocs.wandb.com\u002Fgetting-started).\n\n## Citing\n\nIf you use `keras-rl` in your research, you can cite it as follows:\n\n```bibtex\n@misc{plappert2016kerasrl,\n    author = {Matthias Plappert},\n    title = {keras-rl},\n    year = {2016},\n    publisher = {GitHub},\n    journal = {GitHub repository},\n    howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl}},\n}\n```\n\n## References\n\n1. _Playing Atari with Deep Reinforcement Learning_, Mnih et al., 2013\n2. _Human-level control through deep reinforcement learning_, Mnih et al., 2015\n3. _Deep Reinforcement Learning with Double Q-learning_, van Hasselt et al., 2015\n4. _Continuous control with deep reinforcement learning_, Lillicrap et al., 2015\n5. _Asynchronous Methods for Deep Reinforcement Learning_, Mnih et al., 2016\n6. _Continuous Deep Q-Learning with Model-based Acceleration_, Gu et al., 2016\n7. _Learning Tetris Using the Noisy Cross-Entropy Method_, Szita et al., 2006\n8. _Deep Reinforcement Learning (MLSS lecture notes)_, Schulman, 2016\n9. _Dueling Network Architectures for Deep Reinforcement Learning_, Wang et al., 2016\n10. _Reinforcement learning: An introduction_, Sutton and Barto, 2011\n11. _Proximal Policy Optimization Algorithms_, Schulman et al., 2017\n","# 用于 Keras 的深度强化学习\n\n[![构建状态](https:\u002F\u002Fapi.travis-ci.org\u002Fkeras-rl\u002Fkeras-rl.svg?branch=master)](https:\u002F\u002Ftravis-ci.org\u002Fkeras-rl\u002Fkeras-rl)\n[![文档](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_13d664e1afd7.png)](http:\u002F\u002Fkeras-rl.readthedocs.io\u002F)\n[![许可证](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Flicense\u002Fmashape\u002Fapistatus.svg?maxAge=2592000)](https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fblob\u002Fmaster\u002FLICENSE)\n[![加入聊天 https:\u002F\u002Fgitter.im\u002Fkeras-rl\u002FLobby](https:\u002F\u002Fbadges.gitter.im\u002Fkeras-rl\u002FLobby.svg)](https:\u002F\u002Fgitter.im\u002Fkeras-rl\u002FLobby)\n\n\u003Ctable>\n  \u003Ctr>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_d9147389540f.gif\" width=\"200\">\u003C\u002Ftd>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_49c8611c92ee.gif\" width=\"200\">\u003C\u002Ftd>\n    \u003Ctd>\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_readme_7145db6061b5.gif\" width=\"200\">\u003C\u002Ftd>\n  \u003C\u002Ftr>\n\u003C\u002Ftable>\n\n## 是什么？\n\n`keras-rl` 用 Python 实现了一些最先进的深度强化学习算法，并与深度学习库 [Keras](http:\u002F\u002Fkeras.io) 无缝集成。\n\n此外，`keras-rl` 可以开箱即用地与 [OpenAI Gym](https:\u002F\u002Fgym.openai.com\u002F) 集成。这意味着评估和尝试不同的算法变得非常容易。\n\n当然，你可以根据自己的需求扩展 `keras-rl`。你可以使用内置的 Keras 回调函数和指标，也可以定义自己的回调和指标。\n更进一步地，只需简单地扩展一些抽象类，就可以轻松实现你自己的环境甚至算法。相关文档可在 [在线](http:\u002F\u002Fkeras-rl.readthedocs.org) 查阅。\n\n## 包含哪些内容？\n\n截至今日，已实现了以下算法：\n\n- [x] 深度 Q 学习 (DQN) [[1]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602), [[2]](https:\u002F\u002Fwww.nature.com\u002Farticles\u002Fnature14236)\n- [x] 双重 DQN [[3]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461)\n- [x] 深度确定性策略梯度 (DDPG) [[4]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971)\n- [x] 连续 DQN (CDQN 或 NAF) [[6]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1603.00748)\n- [x] 交叉熵方法 (CEM) [[7]](http:\u002F\u002Flearning.mpi-sws.org\u002Fmlss2016\u002Fslides\u002F2016-MLSS-RL.pdf), [[8]](http:\u002F\u002Fciteseerx.ist.psu.edu\u002Fviewdoc\u002Fdownload?doi=10.1.1.81.6579&rep=rep1&type=pdf)\n- [x] 对弈网络 DQN (Dueling DQN) [[9]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581)\n- [x] 深度 SARSA [[10]](http:\u002F\u002Fpeople.inf.elte.hu\u002Florincz\u002FFiles\u002FRL_2006\u002FSuttonBook.pdf)\n- [ ] 异步优势演员-评论家 (A3C) [[5]](http:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)\n- [ ] 近端策略优化算法 (PPO) [[11]](https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347)\n\n你可以在 [文档](http:\u002F\u002Fkeras-rl.readthedocs.io\u002Fen\u002Flatest\u002Fagents\u002Foverview\u002F) 中找到关于每个智能体的更多信息。\n\n## 安装\n\n- 从 PyPI 安装 Keras-RL（推荐）：\n\n```\npip install keras-rl\n```\n\n- 从 GitHub 源代码安装：\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl.git\ncd keras-rl\npython setup.py install\n```\n\n## 示例\n\n如果你想运行示例，还需要安装：\n\n- OpenAI 的 **gym**：[安装说明](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fgym#installation)\n- **h5py**：只需运行 `pip install h5py`\n\n对于 Atari 示例，你还需要：\n\n- **Pillow**：`pip install Pillow`\n- **gym[atari]**：gym 的 Atari 模块。使用 `pip install gym[atari]`\n\n安装完成后，你可以尝试一个简单的示例：\n\n```bash\npython examples\u002Fdqn_cartpole.py\n```\n\n这是一个非常简单的示例，应该能较快收敛，因此是入门的好方式！它还会在训练过程中可视化游戏画面，让你可以看到智能体是如何学习的。多酷啊！\n\n一些示例权重可在 [keras-rl-weights](https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl-weights) 上找到。\n\n如果你有任何问题或遇到困难，请提交一个问题，或者更好的是，自己修复问题并提交拉取请求！\n\n## 外部项目\n\n- [星际争霸 II 学习环境](https:\u002F\u002Fsoygema.github.io\u002FstarcraftII_machine_learning\u002F#0)\n\n你在项目中使用了 Keras-RL 吗？请打开一个 PR 并分享出来！\n\n## 可视化训练指标\n\n要查看训练进度图表并比较不同运行的结果，可以运行 `pip install wandb`，并将 WandbLogger 回调添加到你的智能体的 `fit()` 调用中：\n\n```python\nfrom rl.callbacks import WandbLogger\n\n...\n\nagent.fit(env, nb_steps=50000, callbacks=[WandbLogger()])\n```\n\n更多详细信息和选项，请参阅 [W&B 文档](https:\u002F\u002Fdocs.wandb.com\u002Fgetting-started)。\n\n## 引用\n\n如果你在研究中使用了 `keras-rl`，可以按如下方式引用：\n\n```bibtex\n@misc{plappert2016kerasrl,\n    author = {Matthias Plappert},\n    title = {keras-rl},\n    year = {2016},\n    publisher = {GitHub},\n    journal = {GitHub repository},\n    howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl}},\n}\n```\n\n## 参考文献\n\n1. _使用深度强化学习玩 Atari 游戏_，Mnih 等，2013 年\n2. _通过深度强化学习实现人类水平的控制_，Mnih 等，2015 年\n3. _带有双重 Q 学习的深度强化学习_，van Hasselt 等，2015 年\n4. _深度强化学习中的连续控制_，Lillicrap 等，2015 年\n5. _深度强化学习的异步方法_，Mnih 等，2016 年\n6. _基于模型加速的连续深度 Q 学习_，Gu 等，2016 年\n7. _使用噪声交叉熵方法学习俄罗斯方块_，Szita 等，2006 年\n8. _深度强化学习（MLSS 讲义笔记）_，Schulman，2016 年\n9. _深度强化学习的对弈网络架构_，Wang 等，2016 年\n10. _强化学习：导论_，Sutton 和 Barto，2011 年\n11. _近端策略优化算法_，Schulman 等，2017 年","# keras-rl 快速上手指南\n\n`keras-rl` 是一个基于 Python 的深度强化学习库，它与深度学习框架 [Keras](http:\u002F\u002Fkeras.io) 无缝集成，并原生支持 [OpenAI Gym](https:\u002F\u002Fgym.openai.com\u002F) 环境。该库实现了多种主流算法（如 DQN、DDPG、Double DQN 等），让评估和尝试不同算法变得简单高效。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**：Linux, macOS 或 Windows\n*   **Python 版本**：建议 Python 3.6+\n*   **前置依赖**：\n    *   **Keras**：深度学习后端（需先安装 TensorFlow 或 Theano）。\n    *   **OpenAI Gym**：用于提供强化学习环境。\n    *   **h5py**：用于模型权重存储。\n    *   *(可选)* **Atari 支持**：若需运行 Atari 游戏示例，需安装 `Pillow` 和 `gym[atari]`。\n\n> **国内加速建议**：\n> 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度。\n> 例如：`pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003C包名>`\n\n## 安装步骤\n\n您可以选择通过 PyPI 直接安装（推荐），或从 GitHub 源码安装。\n\n### 方式一：通过 PyPI 安装（推荐）\n\n```bash\npip install keras-rl\n```\n\n*国内用户建议使用镜像源：*\n```bash\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple keras-rl\n```\n\n### 方式二：从 GitHub 源码安装\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl.git\ncd keras-rl\npython setup.py install\n```\n\n### 安装示例运行依赖\n\n若要运行官方提供的示例代码，还需安装以下组件：\n\n1.  **安装 Gym 和 h5py**：\n    ```bash\n    pip install gym h5py\n    ```\n    *(国内镜像版：`pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple gym h5py`)*\n\n2.  **(可选) 安装 Atari 游戏支持**：\n    ```bash\n    pip install Pillow gym[atari]\n    ```\n\n## 基本使用\n\n安装完成后，您可以立即运行一个简单的示例来体验。以下示例使用 **DQN** 算法训练 **CartPole**（倒立摆）环境。\n\n### 运行示例\n\n在终端执行以下命令：\n\n```bash\npython examples\u002Fdqn_cartpole.py\n```\n\n**说明：**\n*   这是一个非常基础的示例，收敛速度较快，适合新手入门。\n*   运行过程中会弹出窗口可视化游戏画面，您可以实时观察智能体（Agent）的学习过程。\n*   部分预训练权重可在 [keras-rl-weights](https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl-weights) 获取。\n\n### 代码核心逻辑简述\n\n如果您想在自己的代码中使用 `keras-rl`，核心流程通常包含以下步骤：\n\n1.  创建 Gym 环境。\n2.  构建 Keras 模型作为神经网络基础。\n3.  实例化 RL 算法代理（如 `DQNAgent`）。\n4.  调用 `fit()` 方法开始训练。\n\n以下是使用 Wandb 记录训练指标的回调示例（需先 `pip install wandb`）：\n\n```python\nfrom rl.callbacks import WandbLogger\n\n# ... 初始化 agent 和 env 后 ...\n\nagent.fit(env, nb_steps=50000, callbacks=[WandbLogger()])\n```\n\n更多详细用法和算法参数请参考 [官方文档](http:\u002F\u002Fkeras-rl.readthedocs.io)。","某自动驾驶初创团队的算法工程师正在开发一个智能车辆巡航控制系统，需要让车辆在复杂路况下学会自动调整速度和转向策略。\n\n### 没有 keras-rl 时\n- **算法实现门槛高**：工程师需从零编写 DQN 或 DDPG 等深度强化学习算法的底层数学逻辑，代码量大且极易出错。\n- **环境对接繁琐**：将自定义的驾驶仿真环境与深度学习模型连接需要大量胶水代码，调试接口耗时耗力。\n- **实验迭代缓慢**：尝试不同网络结构或超参数时，需手动修改大量训练循环代码，难以快速验证新想法。\n- **缺乏标准化组件**：无法直接复用成熟的经验回放池、目标网络更新等模块，导致重复造轮子现象严重。\n\n### 使用 keras-rl 后\n- **开箱即用算法**：直接调用内置的 DDPG 或 Dueling DQN 等前沿算法，几行代码即可构建高性能智能体。\n- **无缝集成 Gym**：天然支持 OpenAI Gym 接口，团队可迅速将自研仿真器接入标准训练流程，大幅降低对接成本。\n- **灵活定制与扩展**：利用 Keras 原生回调函数监控训练指标，并能通过继承抽象类轻松定制专属环境或改进算法逻辑。\n- **高效实验管理**：依托成熟的架构快速切换模型配置，结合可视化工具实时观察车辆策略演进，显著缩短研发周期。\n\nkeras-rl 通过将复杂的强化学习算法标准化并深度融合 Keras 生态，让开发者能专注于策略设计而非底层实现，极大加速了智能决策系统的落地进程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fkeras-rl_keras-rl_d9147389.gif","Keras-RL","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fkeras-rl_5c960d8b.png","",null,"https:\u002F\u002Fkeras-rl.readthedocs.io\u002Fen\u002Flatest\u002F","https:\u002F\u002Fgithub.com\u002Fkeras-rl",[79],{"name":80,"color":81,"percentage":82},"Python","#3572A5",100,5557,1348,"2026-04-16T22:13:33","MIT","未说明","未说明 (取决于后端 Keras 的配置，通常深度学习训练推荐 NVIDIA GPU)",{"notes":90,"python":87,"dependencies":91},"该工具深度集成 Keras 深度学习库并原生支持 OpenAI Gym。若需运行 Atari 游戏示例，需额外安装 Pillow 和 gym[atari] 模块。支持通过扩展抽象类来自定义环境和算法。建议使用 WandbLogger 回调来可视化训练指标。",[92,93,94,95,96,97],"keras","gym","h5py","Pillow (可选，用于 Atari 示例)","gym[atari] (可选，用于 Atari 示例)","wandb (可选，用于可视化)",[14],[92,100,101,102,103,104],"tensorflow","theano","reinforcement-learning","neural-networks","machine-learning","2026-03-27T02:49:30.150509","2026-04-20T16:49:55.050997",[108,113,118,123,128,133],{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},44944,"Keras-RL 项目是否已经停止维护？是否有替代方案或社区支持？","虽然原作者工作繁忙，但已有新的维护者加入以保持仓库活跃。如果您有优先需要解决的问题或功能，可以向社区反馈。此外，如果您发现该项目更新缓慢，也可以考虑尝试 'TensorForce'，它被视为一个更好的替代方案。","https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fissues\u002F132",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},44945,"在训练过程中出现动作值为 NaN 或损失（loss）爆炸怎么办？","这通常是因为奖励值过大导致损失函数爆炸。尝试缩放（scaling）环境中的奖励值（reward），例如在 processor 中进行归一化处理。如果问题依旧，检查是否因为智能体执行了异常动作（如翻转）导致状态失控，可能需要调整超参数或限制动作空间。","https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fissues\u002F28",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},44946,"为什么在 PongDeterministic-v4 环境中训练后得分没有提升？","这是一个已知且普遍的问题，许多用户反映在 Pong 游戏中即使经过大量步骤（如 175 万步）训练，平均分仍无改善，而在 CartPole 等简单环境中则正常工作。目前该问题被标记为 'wontfix'，建议检查是否需要对 Atari 游戏进行特定的预处理（如帧跳过、灰度化、堆叠帧等），或者考虑使用其他针对 Atari 优化的库。","https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fissues\u002F213",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},44947,"可以在 DQN 模型中使用 LSTM 作为输入层吗？","理论上可行，但实现上有挑战。LSTM 需要基于整个序列进行训练以保持隐藏状态正确。一种解决方法是使用两个模型：一个用于训练（stateful=False，输入包含多个时间步），另一个用于测试（stateful=True，输入为单步）。训练时将内存中的连续片段输入第一个模型，然后将权重加载到第二个模型中进行单步交互。注意：直接使用 LSTM 训练速度极慢，建议先通过 LSTM-VAE 提取潜在特征，再用全连接层训练 DQN。","https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fissues\u002F41",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},44948,"在 TensorFlow 2.0 + Keras 2.3+ 环境下运行报错：'len is not well defined for symbolic tensors' 或 'using a tf.Tensor as a Python bool is not allowed'，如何解决？","这是由于 TF 2.0 默认启用图执行模式导致的兼容性问题。对于 'len()' 错误，请将代码中的 `len(model.output)` 替换为 `sum(x is not None for x in model.output.shape)` 来判断输出维度。对于 'tf.Tensor as bool' 错误，避免直接在 if 语句中使用 Tensor 比较，可尝试使用 `tf.equal()` 配合 `.eval()` 或在函数上添加 `@tf.function` 装饰器，但最稳定的方案可能是暂时启用 eager execution：`import tensorflow as tf; tf.compat.v1.enable_eager_execution()`。","https:\u002F\u002Fgithub.com\u002Fkeras-rl\u002Fkeras-rl\u002Fissues\u002F348",{"id":134,"question_zh":135,"answer_zh":136,"source_url":112},44949,"如何贡献代码或参与 Keras-RL 的维护工作？","项目欢迎社区贡献。目前已有新维护者加入，您可以提出您认为优先级最高的问题或功能需求。即使没有大型开源项目维护经验，也可以从修复具体 bug（如适配新版 Keras\u002FTensorFlow）开始，例如有人正在修复 DRQN 实现以兼容最新版本。欢迎在 Issue 中留言协作。",[138,143,148,153,158,163,168,173],{"id":139,"version":140,"summary_zh":141,"released_at":142},359867,"v0.4.2","- 修复 TensorBoard 支持\n- 完善文档","2018-05-01T14:27:32",{"id":144,"version":145,"summary_zh":146,"released_at":147},359868,"V0.4.1","- 添加对当前版本的 Keras 和 Gym 的支持","2018-04-10T07:50:00",{"id":149,"version":150,"summary_zh":151,"released_at":152},359869,"v0.4.0","- 移除了遗留代码，现要求使用 `Keras >= 2.0.7`（https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl\u002Fpull\u002F157）\n- 新增了两种策略（https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl\u002Fpull\u002F156、https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl\u002Fpull\u002F122）\n- 修复了在某些边缘情况下回放经验池采样不正确的问题（https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl\u002Fpull\u002F138）\n- 修复了 DDPG 中策略网络模型的 dropout 问题（https:\u002F\u002Fgithub.com\u002Fmatthiasplappert\u002Fkeras-rl\u002Fpull\u002F150）","2017-12-04T11:22:38",{"id":154,"version":155,"summary_zh":156,"released_at":157},359870,"v0.3.1","- 由于优化器代码中存在非 trivial 且会破坏兼容性的 API 变更，因此要求 Keras 版本低于 2.0.7。","2017-09-20T18:19:40",{"id":159,"version":160,"summary_zh":161,"released_at":162},359871,"v0.3.0","- 完全兼容近期发布的 Keras 2\n- 新增 `SarsaAgent` 实现\n- 在 `DQNAgent` 和 `SarsaAgent` 中新增 `train_policy`，支持在训练和测试时使用不同的策略\n- 少量代码清理","2017-03-15T14:41:49",{"id":164,"version":165,"summary_zh":166,"released_at":167},359872,"v0.2.2","- 修复发布时的版本混淆问题，其余部分与 `v0.2.1` 版本完全相同。\n","2017-02-15T20:31:37",{"id":169,"version":170,"summary_zh":171,"released_at":172},359873,"v0.2.1","- 添加 Dueling DQN\n- 添加对 TensorFlow 1.0 的支持\n- 修复在同时使用多个 DQN 智体时默认策略的问题\n","2017-02-15T20:25:23",{"id":174,"version":175,"summary_zh":75,"released_at":176},359874,"v0.2.0rc1","2016-10-17T18:14:50"]