[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-carpedm20--deep-rl-tensorflow":3,"tool-carpedm20--deep-rl-tensorflow":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":76,"owner_twitter":76,"owner_website":76,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":105,"github_topics":106,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":110,"updated_at":111,"faqs":112,"releases":148},5947,"carpedm20\u002Fdeep-rl-tensorflow","deep-rl-tensorflow","TensorFlow implementation of Deep Reinforcement Learning papers","deep-rl-tensorflow 是一个基于 TensorFlow 框架的开源项目，旨在复现深度强化学习领域的多篇经典学术论文。它核心解决了研究人员和开发者在复现复杂算法时面临的代码从零构建难、环境配置繁琐等痛点，提供了从基础 DQN 到双 Q 学习（Double DQN）、 Dueling 网络架构等先进模型的标准化实现。\n\n该项目特别适合人工智能研究人员、算法工程师以及希望深入理解强化学习原理的开发者使用。通过集成 OpenAI Gym 环境，用户可以直接运行命令来训练智能体玩 Atari 游戏或进行走廊导航测试，快速验证理论效果。其独特的技术亮点在于模块化设计，支持灵活切换不同的网络头部类型和输出架构，并包含了优先经验回放等前沿技术的实现进度。无论是用于学术对比实验，还是作为学习深度强化学习代码结构的入门教材，deep-rl-tensorflow 都能提供坚实可靠的代码基准，帮助用户高效探索智能决策系统的奥秘。","# Deep Reinforcement Learning in TensorFlow\n\nTensorFlow implementation of Deep Reinforcement Learning papers. This implementation contains:\n\n[1] [Playing Atari with Deep Reinforcement Learning](http:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602)  \n[2] [Human-Level Control through Deep Reinforcement Learning](http:\u002F\u002Fhome.uchicago.edu\u002F~arij\u002Fjournalclub\u002Fpapers\u002F2015_Mnih_et_al.pdf)  \n[3] [Deep Reinforcement Learning with Double Q-learning](http:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461)  \n[4] [Dueling Network Architectures for Deep Reinforcement Learning](http:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581)  \n[5] [Prioritized Experience Replay](http:\u002F\u002Farxiv.org\u002Fpdf\u002F1511.05952v3.pdf) (in progress)  \n[6] [Deep Exploration via Bootstrapped DQN](http:\u002F\u002Farxiv.org\u002Fabs\u002F1602.04621) (in progress)  \n[7] [Asynchronous Methods for Deep Reinforcement Learning](http:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783) (in progress)  \n[8] [Continuous Deep q-Learning with Model-based Acceleration](http:\u002F\u002Farxiv.org\u002Fabs\u002F1603.00748) (in progress)  \n\n\n## Requirements\n\n- Python 2.7\n- [gym](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fgym)\n- [tqdm](https:\u002F\u002Fgithub.com\u002Ftqdm\u002Ftqdm)\n- [OpenCV2](http:\u002F\u002Fopencv.org\u002F) or [Scipy](https:\u002F\u002Fwww.scipy.org\u002F)\n- [TensorFlow 0.12.0](https:\u002F\u002Fwww.tensorflow.org\u002F)\n\n\n## Usage\n\nFirst, install prerequisites with:\n\n    $ pip install -U 'gym[all]' tqdm scipy\n\nDon't forget to also install the latest\n[TensorFlow](https:\u002F\u002Fwww.tensorflow.org\u002F). Also note that you need to install\nthe dependences of [`doom-py`](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fdoom-py) which is\nrequired by `gym[all]`\n\nTrain with DQN model described in [[1]](#deep-reinforcement-learning-in-tensorflow) without gpu:\n\n    $ python main.py --network_header_type=nips --env_name=Breakout-v0 --use_gpu=False\n\nTrain with DQN model described in [[2]](#deep-reinforcement-learning-in-tensorflow):\n\n    $ python main.py --network_header_type=nature --env_name=Breakout-v0\n\nTrain with Double DQN model described in [[3]](#deep-reinforcement-learning-in-tensorflow):\n\n    $ python main.py --double_q=True --env_name=Breakout-v0\n\nTrain with Deuling network with Double Q-learning described in [[4]](#deep-reinforcement-learning-in-tensorflow):\n\n    $ python main.py --double_q=True --network_output_type=dueling --env_name=Breakout-v0\n\nTrain with MLP model described in [[4]](#deep-reinforcement-learning-in-tensorflow) with corridor environment (useful for debugging):\n\n    $ python main.py --network_header_type=mlp --network_output_type=normal --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    $ python main.py --network_header_type=mlp --network_output_type=normal --double_q=True --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    $ python main.py --network_header_type=mlp --network_output_type=dueling --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    $ python main.py --network_header_type=mlp --network_output_type=dueling --double_q=True --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n\n\n## Results\n\nResult of `Corridor-v5` in [[4]](#deep-reinforcement-learning-in-tensorflow) for DQN (purple), DDQN (red), Dueling DQN (green), Dueling DDQN (blue).\n\n![model](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcarpedm20_deep-rl-tensorflow_readme_a4b39445666e.png)\n\nResult of `Breakout-v0' for DQN without frame-skip (white-blue), DQN with frame-skip (light purple), Dueling DDQN (dark blue).\n\n![model](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcarpedm20_deep-rl-tensorflow_readme_d014887ba5dc.png)\n\nThe hyperparameters and gradient clipping are not implemented as it is as [[4]](#deep-reinforcement-learning-in-tensorflow).\n\n\n## References\n\n- [DQN-tensorflow](https:\u002F\u002Fgithub.com\u002Fdevsisters\u002FDQN-tensorflow)\n- [DeepMind's code](https:\u002F\u002Fsites.google.com\u002Fa\u002Fdeepmind.com\u002Fdqn\u002F)\n\n\n## Author\n\nTaehoon Kim \u002F [@carpedm20](http:\u002F\u002Fcarpedm20.github.io\u002F)\n","# TensorFlow 中的深度强化学习\n\nTensorFlow 对深度强化学习相关论文的实现。该实现包含以下内容：\n\n[1] [使用深度强化学习玩 Atari 游戏](http:\u002F\u002Farxiv.org\u002Fabs\u002F1312.5602)  \n[2] [通过深度强化学习实现人类水平的控制](http:\u002F\u002Fhome.uchicago.edu\u002F~arij\u002Fjournalclub\u002Fpapers\u002F2015_Mnih_et_al.pdf)  \n[3] [带有双 Q 学习的深度强化学习](http:\u002F\u002Farxiv.org\u002Fabs\u002F1509.06461)  \n[4] [用于深度强化学习的决斗网络架构](http:\u002F\u002Farxiv.org\u002Fabs\u002F1511.06581)  \n[5] [优先级经验回放](http:\u002F\u002Farxiv.org\u002Fpdf\u002F1511.05952v3.pdf)（开发中）  \n[6] [基于自助法的 DQN 进行深度探索](http:\u002F\u002Farxiv.org\u002Fabs\u002F1602.04621)（开发中）  \n[7] [深度强化学习的异步方法](http:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783)（开发中）  \n[8] [基于模型加速的连续深度 q-Learning](http:\u002F\u002Farxiv.org\u002Fabs\u002F1603.00748)（开发中）  \n\n\n## 需求\n\n- Python 2.7\n- [gym](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fgym)\n- [tqdm](https:\u002F\u002Fgithub.com\u002Ftqdm\u002Ftqdm)\n- [OpenCV2](http:\u002F\u002Fopencv.org\u002F) 或 [Scipy](https:\u002F\u002Fwww.scipy.org\u002F)\n- [TensorFlow 0.12.0](https:\u002F\u002Fwww.tensorflow.org\u002F)\n\n\n## 使用方法\n\n首先，安装依赖项：\n\n    $ pip install -U 'gym[all]' tqdm scipy\n\n别忘了同时安装最新版的\n[TensorFlow](https:\u002F\u002Fwww.tensorflow.org\u002F)。另外请注意，您还需要安装\n[`doom-py`](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fdoom-py) 的依赖项，因为它是\n`gym[all]` 所必需的。\n\n使用 [[1]](#deep-reinforcement-learning-in-tensorflow) 中描述的 DQN 模型进行训练（不使用 GPU）：\n\n    $ python main.py --network_header_type=nips --env_name=Breakout-v0 --use_gpu=False\n\n使用 [[2]](#deep-reinforcement-learning-in-tensorflow) 中描述的 DQN 模型进行训练：\n\n    $ python main.py --network_header_type=nature --env_name=Breakout-v0\n\n使用 [[3]](#deep-reinforcement-learning-in-tensorflow) 中描述的双 DQN 模型进行训练：\n\n    $ python main.py --double_q=True --env_name=Breakout-v0\n\n使用 [[4]](#deep-reinforcement-learning-in-tensorflow) 中描述的带有双 Q 学习的决斗网络进行训练：\n\n    $ python main.py --double_q=True --network_output_type=dueling --env_name=Breakout-v0\n\n使用 [[4]](#deep-reinforcement-learning-in-tensorflow) 中描述的 MLP 模型，在走廊环境中进行训练（对调试很有用）：\n\n    $ python main.py --network_header_type=mlp --network_output_type=normal --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    $ python main.py --network_header_type=mlp --network_output_type=normal --double_q=True --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    $ python main.py --network_header_type=mlp --network_output_type=dueling --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    $ python main.py --network_header_type=mlp --network_output_type=dueling --double_q=True --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n\n\n## 结果\n\n[[4]](#deep-reinforcement-learning-in-tensorflow) 中 `Corridor-v5` 环境下 DQN（紫色）、DDQN（红色）、决斗 DQN（绿色）、决斗 DDQN（蓝色）的结果。\n\n![model](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcarpedm20_deep-rl-tensorflow_readme_a4b39445666e.png)\n\n[[4]](#deep-reinforcement-learning-in-tensorflow) 中 `Breakout-v0` 环境下无帧跳过 DQN（白蓝）、有帧跳过的 DQN（浅紫色）、决斗 DDQN（深蓝色）的结果。\n\n![model](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcarpedm20_deep-rl-tensorflow_readme_d014887ba5dc.png)\n\n由于与 [[4]](#deep-reinforcement-learning-in-tensorflow) 一致，因此未实现超参数和梯度裁剪功能。\n\n\n## 参考文献\n\n- [DQN-tensorflow](https:\u002F\u002Fgithub.com\u002Fdevsisters\u002FDQN-tensorflow)\n- [DeepMind 的代码](https:\u002F\u002Fsites.google.com\u002Fa\u002Fdeepmind.com\u002Fdqn\u002F)\n\n\n## 作者\n\nTaehoon Kim \u002F [@carpedm20](http:\u002F\u002Fcarpedm20.github.io\u002F)","# deep-rl-tensorflow 快速上手指南\n\n本指南帮助中国开发者快速部署并运行基于 TensorFlow 的深度强化学习（Deep RL）开源项目，复现经典的 DQN、Double DQN 及 Dueling Network 等算法。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**：Linux 或 macOS（Windows 需配置相应环境）\n*   **Python 版本**：Python 2.7\n*   **核心框架**：TensorFlow 0.12.0\n*   **依赖库**：\n    *   `gym` (OpenAI 健身馆环境)\n    *   `tqdm` (进度条显示)\n    *   `OpenCV2` 或 `Scipy` (图像处理)\n    *   `doom-py` (部分环境需要，由 `gym[all]` 触发安装)\n\n> **注意**：本项目基于较旧的 TensorFlow 0.12.0 和 Python 2.7 开发。若在现代环境中运行，可能需要创建独立的虚拟环境（如使用 `virtualenv` 或 `conda`）以避免版本冲突。\n\n## 安装步骤\n\n### 1. 安装 Python 依赖\n推荐使用国内镜像源（如清华源）加速安装过程。执行以下命令安装基础依赖：\n\n```bash\npip install -U 'gym[all]' tqdm scipy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **提示**：安装 `gym[all]` 时会自动尝试安装 `doom-py` 等额外依赖。如果系统缺少编译工具（如 `cmake`, `g++`），请先通过包管理器安装（例如 Ubuntu: `sudo apt-get install cmake g++`）。\n\n### 2. 安装 TensorFlow\n由于项目指定需要 **TensorFlow 0.12.0**，请使用以下命令精确安装该版本（同样推荐使用国内源）：\n\n```bash\npip install tensorflow==0.12.0 -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n*如果您需要使用 GPU 加速，请确保已安装对应的 CUDA 和 cuDNN 版本，并安装 `tensorflow-gpu==0.12.0`。*\n\n## 基本使用\n\n安装完成后，即可通过 `main.py` 脚本训练模型。以下是最简单的使用示例，使用 **DQN 算法** 在 **Breakout-v0**（打砖块游戏）环境中进行训练，且不启用 GPU。\n\n### 示例：运行基础 DQN 模型\n\n```bash\npython main.py --network_header_type=nips --env_name=Breakout-v0 --use_gpu=False\n```\n\n### 其他常用训练命令\n\n如需尝试更先进的变体模型，可参考以下命令：\n\n*   **训练 Nature DQN 模型**（参考论文 [2]）：\n    ```bash\n    python main.py --network_header_type=nature --env_name=Breakout-v0\n    ```\n\n*   **训练 Double DQN 模型**（参考论文 [3]）：\n    ```bash\n    python main.py --double_q=True --env_name=Breakout-v0\n    ```\n\n*   **训练 Dueling Double DQN 模型**（参考论文 [4]）：\n    ```bash\n    python main.py --double_q=True --network_output_type=dueling --env_name=Breakout-v0\n    ```\n\n*   **调试模式**：在简单的 `CorridorSmall-v5` 环境中测试 MLP 网络结构：\n    ```bash\n    python main.py --network_header_type=mlp --network_output_type=normal --observation_dims='[16]' --env_name=CorridorSmall-v5 --t_learn_start=0.1 --learning_rate_decay_step=0.1 --history_length=1 --n_action_repeat=1 --t_ep_end=10 --display=True --learning_rate=0.025 --learning_rate_minimum=0.0025\n    ```\n\n运行后，程序将自动下载环境资源（首次运行可能需要时间），并开始训练过程，终端会显示实时的奖励数据和进度条。","某游戏 AI 研发团队正致力于为经典街机游戏《打砖块》（Breakout）开发能够超越人类水平的自动游玩代理。\n\n### 没有 deep-rl-tensorflow 时\n- **复现成本高昂**：研究人员需从零开始阅读并翻译 Mnih 等人的多篇顶会论文，手动推导公式并编写 TensorFlow 代码，耗时数周且极易出错。\n- **算法对比困难**：想要验证 Double DQN 或 Dueling Network 是否比基础 DQN 更有效时，需要分别搭建多套独立的训练框架，难以在统一环境下公平对比性能。\n- **调试门槛极高**：缺乏像 `CorridorSmall-v5` 这样轻量化的专用调试环境，团队只能在复杂的像素环境中盲目调整超参数，导致训练收敛慢且资源浪费严重。\n\n### 使用 deep-rl-tensorflow 后\n- **开箱即用复现**：团队直接调用内置的 Nature DQN 或 Double DQN 实现，仅需一行命令（如 `--double_q=True`）即可加载经过验证的架构，将研发周期从数周缩短至数天。\n- **灵活配置对比**：通过简单的命令行参数切换（如 `--network_output_type=dueling`），即可在同一套代码库中快速对比不同变体在 `Breakout-v0` 上的得分差异，加速算法选型。\n- **高效迭代调试**：利用工具提供的 MLP 网络和走廊环境进行快速逻辑验证，确认策略有效性后再迁移至高分辨率像素任务，显著降低了显存占用和试错时间。\n\ndeep-rl-tensorflow 将深奥的强化学习论文转化为可执行的标准化代码，让开发者能专注于策略优化而非底层架构的重造。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fcarpedm20_deep-rl-tensorflow_a4b39445.png","carpedm20","Taehoon","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fcarpedm20_c71eb65e.jpg","ex @openai. a machine like human",null,"San Francisco","https:\u002F\u002Fgithub.com\u002Fcarpedm20",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",98.1,{"name":85,"color":86,"percentage":87},"Shell","#89e051",1.9,1585,394,"2026-04-07T04:24:34","MIT",4,"","非必需（支持通过 --use_gpu=False 在 CPU 上运行），未说明具体显卡型号、显存大小及 CUDA 版本","未说明",{"notes":97,"python":98,"dependencies":99},"该项目基于较旧的 TensorFlow 0.12.0 和 Python 2.7，现代环境可能需要配置兼容环境。安装 gym[all] 时需额外安装 doom-py 的依赖项。部分功能（如优先经验回放、异步方法等）标记为进行中（in progress）。","2.7",[100,101,102,103,104],"TensorFlow==0.12.0","gym[all]","tqdm","OpenCV2 或 Scipy","doom-py",[14],[107,108,109],"tensorflow","deep-reinforcement-learning","dqn","2026-03-27T02:49:30.150509","2026-04-10T02:43:03.321361",[113,118,123,128,133,138,143],{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},26982,"为什么训练过程中 tqdm 显示的迭代速度 (it\u002Fs) 会持续下降？","这通常不是 GPU 设置或 tqdm 本身的问题，而是代码逻辑导致的。维护者已修复此问题，请拉取最新代码并查看提交记录 a6a836edd8cc9cba41e84eaa54dce20c3b24a5b2 以了解具体更改细节。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F31",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},26983,"运行时报错 'TimeLimit' object has no attribute 'ale' 如何解决？","这是因为新版 Gym 中 TimeLimit 包装器隐藏了底层环境属性。解决方法是修改 `environments\u002Fenvironment.py` 文件的第 22 行，将 `self.env = gym.make(env_name)` 改为 `self.env = gym.make(env_name).env` 以解包环境对象，从而获取 'ale' 属性。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F25",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},26984,"使用 GPU 训练时出现 'Could not create cudnn handle: CUDNN_STATUS_INTERNAL_ERROR' 错误怎么办？","这是一个常见的 cuDNN 缓存冲突问题。可以通过删除 NVIDIA 缓存目录来解决，请在终端执行命令：`sudo rm -rf ~\u002F.nv\u002F`，然后重新运行程序即可。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F43",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},26985,"运行时遇到 MemoryError（内存不足）错误是什么原因？","这是因为系统的物理内存（即使加上交换空间）不足以容纳经验回放缓冲区（experience replay buffer）。建议增加系统内存，或者在配置文件中减小 `memory_size` 参数以降低内存占用。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F20",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},26986,"README 中提到的 'frame-skip' 是什么意思？","Frame-skip 指的是 DQN 相关论文中描述的 'action_repeat' 机制。其含义是跳过 N 帧不进行处理，但在这些跳过的帧中重复执行同一个动作，以提高训练效率和稳定性。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F9",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},26987,"代码中的 SARSA 算法实现是否正确？","不正确。维护者确认 `sarsa.py` 文件只是一个占位符（dummy），内容是复制其他文件并重命名类得到的，并未实际实现 SARSA 算法的损失计算逻辑。请勿直接使用该文件进行严肃研究。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F18",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},26988,"Dueling Network 的实现逻辑是否有误？","是的，之前版本存在严重 Bug。正确的 Dueling 逻辑应该是状态价值（state-value）和优势函数（advantage）由相同的观测源生成，相加后减去优势函数的均值。维护者已确认该问题并提交了修复代码，请务必更新到最新版本。","https:\u002F\u002Fgithub.com\u002Fcarpedm20\u002Fdeep-rl-tensorflow\u002Fissues\u002F6",[]]