[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-simoninithomas--Deep_reinforcement_learning_Course":3,"tool-simoninithomas--Deep_reinforcement_learning_Course":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",143909,2,"2026-04-07T11:33:18",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":95,"forks":96,"last_commit_at":97,"license":78,"difficulty_score":10,"env_os":98,"env_gpu":99,"env_ram":99,"env_deps":100,"category_tags":107,"github_topics":108,"view_count":32,"oss_zip_url":78,"oss_zip_packed_at":78,"status":17,"created_at":121,"updated_at":122,"faqs":123,"releases":159},5213,"simoninithomas\u002FDeep_reinforcement_learning_Course","Deep_reinforcement_learning_Course","Implementations from the free course Deep Reinforcement Learning with Tensorflow and PyTorch","Deep_reinforcement_learning_Course 是由 Hugging Face 推出的免费深度强化学习实战课程，旨在帮助学习者从零掌握这一前沿 AI 技术。它通过系统的理论讲解与丰富的代码实践，解决了初学者在面对复杂算法时“难入门、缺环境、少实战”的痛点。\n\n课程内容涵盖深度强化学习的核心原理，并指导用户熟练使用 Stable Baselines3、CleanRL 等主流开源库。其独特亮点在于提供了多样化的训练环境，从经典的太空侵略者到复杂的 Minecraft 和 Doom 游戏，甚至包括与虚拟宠物互动的趣味场景。学习者不仅能亲手训练智能体，还能通过一行代码将成果发布至社区平台，或下载他人模型进行切磋与挑战。\n\n这套资源非常适合人工智能开发者、科研人员以及希望进阶的学生使用。无论你想深入研究算法机制，还是渴望在趣味环境中验证策略，Deep_reinforcement_learning_Course 都能提供一条清晰、高效且充满乐趣的学习路径，助你轻松跨越理论与实践的鸿沟。","# [Deep Reinforcement Learning Course](https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction)\nWe **[launched a new free Deep Reinforcement Learning Course with Hugging Face 🤗](https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction)**\n\n\n**👉 Register here** http:\u002F\u002Feepurl.com\u002Fh1pElX\n\n**👉 The course**: https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction\n\n📚 The syllabus: https:\u002F\u002Fsimoninithomas.github.io\u002Fdeep-rl-course\u002F\n\nIn this updated free course, you will:\n\n- 📖 **Study Deep Reinforcement Learning** in theory and practice.\n- 🧑‍💻 Learn to **use famous Deep RL libraries** such as Stable Baselines3, RL Baselines3 Zoo, Sample Factory and CleanRL.\n- 🤖 **Train agents in unique environments** such as SnowballFight, Huggy the Doggo 🐶, MineRL (Minecraft ⛏️), VizDoom (Doom) and classical ones such as Space Invaders and PyBullet.\n- 💾 **Publish your trained agents in one line of code to the Hub**. But also download powerful agents from the community.\n- 🏆 **Participate in challenges** where you will evaluate your agents against other teams. But also play against AI you'll train.\nAnd more!\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsimoninithomas_Deep_reinforcement_learning_Course_readme_695adaf42f65.jpg\"\u002F>\n","# 【深度强化学习课程】(https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction)\n我们**与 Hugging Face 🤗 联合推出了全新的免费深度强化学习课程**。\n\n\n**👉 立即注册** http:\u002F\u002Feepurl.com\u002Fh1pElX\n\n**👉 课程链接**：https:\u002F\u002Fhuggingface.co\u002Fdeep-rl-course\u002Funit0\u002Fintroduction\n\n📚 课程大纲：https:\u002F\u002Fsimoninithomas.github.io\u002Fdeep-rl-course\u002F\n\n在这门更新后的免费课程中，你将：\n\n- 📖 **从理论到实践系统学习深度强化学习**。\n- 🧑‍💻 学会使用**知名的深度强化学习库**，如 Stable Baselines3、RL Baselines3 Zoo、Sample Factory 和 CleanRL。\n- 🤖 **在独特环境中训练智能体**，包括 SnowballFight、Huggy 小狗 🐶、MineRL（Minecraft ⛏️）、VizDoom（Doom），以及经典环境如 Space Invaders 和 PyBullet。\n- 💾 **只需一行代码即可将训练好的智能体发布到 Hugging Face Hub**，同时也能从社区下载强大的预训练智能体。\n- 🏆 **参与挑战赛**，与其他团队的智能体进行对比评估，还能与自己训练的 AI 对战。\n还有更多内容等着你！\n\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsimoninithomas_Deep_reinforcement_learning_Course_readme_695adaf42f65.jpg\"\u002F>","# Deep Reinforcement Learning Course 快速上手指南\n\n本指南基于 Hugging Face 推出的免费深度强化学习课程，帮助开发者快速掌握理论并上手主流 RL 库（如 Stable Baselines3、CleanRL 等）。\n\n## 环境准备\n\n在开始之前，请确保您的开发环境满足以下要求：\n\n- **操作系统**：Linux (推荐 Ubuntu 20.04+)、macOS 或 Windows (建议使用 WSL2)\n- **Python 版本**：Python 3.8 - 3.10\n- **硬件要求**：\n  - CPU：用于基础练习\n  - GPU (NVIDIA)：推荐用于训练复杂环境（如 VizDoom, MineRL），需安装 CUDA 驱动\n- **前置依赖**：\n  - Git\n  - pip 包管理器\n  - (可选) Conda\u002FMamba 用于管理虚拟环境\n\n> **国内加速建议**：推荐使用清华源或阿里源加速 Python 包下载。\n> ```bash\n> export PIP_INDEX_URL=https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n> ```\n\n## 安装步骤\n\n建议使用虚拟环境进行隔离安装。以下是基于 `pip` 的标准安装流程：\n\n1. **创建并激活虚拟环境**\n   ```bash\n   python -m venv rl-course-env\n   source rl-course-env\u002Fbin\u002Factivate  # Windows 用户请使用: rl-course-env\\Scripts\\activate\n   ```\n\n2. **安装核心强化学习库**\n   本课程主要涉及 Stable Baselines3 及相关扩展库：\n   ```bash\n   pip install stable-baselines3[extra] rl-baselines3-zoo sample-factory clean-rl\n   ```\n\n3. **安装特定环境依赖**\n   根据课程中想要尝试的环境，安装对应的模拟器：\n   ```bash\n   # 安装经典游戏环境 (Atari)\n   pip install gymnasium[atari] gymnasium[accept-rom-license]\n\n   # 安装物理仿真环境 (PyBullet)\n   pip install pybullet\n\n   # 安装 Minecraft 环境 (MineRL) - 需额外配置 Java，详见官方文档\n   pip install minerl\n\n   # 安装 Hugging Face Hub 客户端 (用于上传\u002F下载模型)\n   pip install huggingface_hub\n   ```\n\n4. **验证安装**\n   运行以下 Python 代码检查库是否可用：\n   ```python\n   import stable_baselines3\n   import gymnasium\n   print(f\"Stable-Baselines3 version: {stable_baselines3.__version__}\")\n   print(\"Environment setup successful!\")\n   ```\n\n## 基本使用\n\n以下示例展示如何使用 **Stable Baselines3** 在经典的 `CartPole` 环境中训练一个 PPO 智能体，这是课程中最基础的入门实践。\n\n1. **创建训练脚本** (`train.py`)：\n\n   ```python\n   import gymnasium as gym\n   from stable_baselines3 import PPO\n\n   # 1. 创建环境\n   env = gym.make(\"CartPole-v1\")\n\n   # 2. 初始化 PPO 算法 (MlpPolicy 适用于向量观测空间)\n   model = PPO(\"MlpPolicy\", env, verbose=1)\n\n   # 3. 训练智能体 (总时间步数为 10,000)\n   model.learn(total_timesteps=10000)\n\n   # 4. 保存模型到本地\n   model.save(\"ppo_cartpole\")\n\n   print(\"Training completed and model saved.\")\n   ```\n\n2. **运行训练**：\n   ```bash\n   python train.py\n   ```\n\n3. **上传模型至 Hugging Face Hub (可选)**：\n   课程特色支持一键上传模型。登录 Hub 后，可使用以下代码将训练好的模型分享给社区：\n   ```python\n   from huggingface_hub import HfApi\n   \n   api = HfApi()\n   # 请将 \u003Cyour-username> 替换为您的 HF 用户名\n   api.upload_folder(\n       folder_path=\".\u002F\",\n       repo_id=\"\u003Cyour-username>\u002Fppo-cartpole-demo\",\n       repo_type=\"model\"\n   )\n   ```\n\n完成上述步骤后，您已成功运行了第一个深度强化学习实验，并可访问课程网站深入学习更复杂的场景（如 SnowballFight、Doom 等）。","某游戏开发团队正试图为一款复古射击游戏设计能够自适应玩家策略的敌方 AI，以替代传统固定的行为脚本。\n\n### 没有 Deep_reinforcement_learning_Course 时\n- 团队成员需从零摸索强化学习理论，面对复杂的数学公式和算法推导，学习曲线极其陡峭且耗时漫长。\n- 在尝试集成 Stable Baselines3 或 CleanRL 等主流库时，因缺乏标准教程而频繁遭遇环境配置冲突和代码调试瓶颈。\n- 难以快速构建有效的训练环境，只能在简单的自定义网格中测试，无法验证 AI 在类似 Doom 或 Space Invaders 等复杂场景下的表现。\n- 训练好的模型仅存储在本地，缺乏便捷的分享机制，导致团队协作评审和版本迭代效率低下。\n\n### 使用 Deep_reinforcement_learning_Course 后\n- 通过课程系统的理论与实践结合，团队迅速掌握了深度强化学习核心概念，将原本数月的调研期缩短至几周。\n- 直接复用课程中提供的标准化代码实现，顺利调用 Stable Baselines3 和 Sample Factory 等库，大幅降低了工程落地门槛。\n- 利用课程预设的 VizDoom（毁灭战士）和 MineRL 等独特训练环境，快速验证了敌人在复杂动态战场中的决策能力。\n- 借助一键发布功能，将训练成熟的智能体上传至 Hugging Face Hub，实现了团队成员间的即时共享与横向评测。\n\nDeep_reinforcement_learning_Course 通过提供从理论到实战的一站式解决方案，极大地降低了深度强化学习的落地成本，让开发者能专注于创造更智能的交互体验。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsimoninithomas_Deep_reinforcement_learning_Course_695adaf4.jpg","simoninithomas","Thomas Simonini","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsimoninithomas_3ece800c.jpg","Developer Advocacy @huggingface 🤗\r\nLove building products using NLP and RL \r\n\r\nFounded Deep Reinforcement Learning course 📚 bit.ly\u002F34fMhwc","@huggingface","Paris, France",null,"ThomasSimonini","https:\u002F\u002Fwww.simoninithomas.com","https:\u002F\u002Fgithub.com\u002Fsimoninithomas",[83,87,91],{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",91.9,{"name":88,"color":89,"percentage":90},"Python","#3572A5",8.1,{"name":92,"color":93,"percentage":94},"Shell","#89e051",0,3906,1222,"2026-04-04T20:12:24","","未说明",{"notes":101,"python":99,"dependencies":102},"README 主要介绍课程内容和使用的库，未提供具体的系统环境配置、硬件需求或依赖版本信息。用户需参考课程官网或各依赖库的官方文档获取详细安装指南。",[103,104,105,106],"Stable Baselines3","RL Baselines3 Zoo","Sample Factory","CleanRL",[14],[109,110,111,112,113,114,115,116,117,118,119,120],"deep-reinforcement-learning","qlearning","deep-learning","tensorflow-tutorials","tensorflow","ppo","a2c","actor-critic","deep-q-network","deep-q-learning","pytorch","unity","2026-03-27T02:49:30.150509","2026-04-08T03:53:58.863557",[124,129,134,139,144,149,154],{"id":125,"question_zh":126,"answer_zh":127,"source_url":128},23641,"Space Invaders 的 Deep Q Learning 代码中未定义的 `rewards_list` 变量是否需要？","不需要。该变量在代码中未被实际使用，仅用于追加数据但未参与后续逻辑。可以直接删除包含该变量的行，不影响程序运行。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F71",{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},23640,"课程代码所需的精确依赖环境和版本是什么？","推荐的环境配置（基于 Python 3.6）如下：\ngym==0.10.9\ntensorboardX==1.6\ntensorflow==1.12.0\ntensorboard==1.12.0\n确保安装这些特定版本以避免兼容性问题。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F73",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},23636,"在 FrozenLake 环境中运行 Q-learning 时，为什么代码中需要执行 `episode += 1`？","这是一个循环逻辑错误。维护者已确认该问题并修改了笔记本：移除了循环中的 `episode += 1` 语句。此外，还将衰减率（decay_rate）调整为 0.005 以优化训练效果。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F5",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},23637,"在中国无法观看教程视频或访问文章链接怎么办？","这通常是因为 Medium 等平台被屏蔽。解决方案包括：1. 使用 VPN（如 Shadowsocks）；2. 如果图片能加载，可直接阅读网页版文章（虽然排版较差）；3. 联系作者获取离线资源。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F15",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},23638,"运行 Deep Q-learning Space Invaders 示例时报错 `AttributeError: module 'retro' has no attribute 'make'` 如何解决？","这是因为安装了错误的包。`retro` 是另一个包，你需要专门安装 `gym-retro`。解决方法是先卸载错误包：`pip uninstall retro`，然后安装正确的包：`pip install gym-retro`。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F36",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},23639,"在 FrozenLake 环境中训练后 Q-table 全为零或代理行为异常是什么原因？","默认情况下 FrozenLake 环境是“滑溜”的（slippery），即随机环境，导致代理难以到达目标。解决方案包括：1. 减小衰减率（decay_rate，例如改为 0.001）；2. 若 Q-table 全零，重置 epsilon 为 1 重新迭代；3. 注册一个非滑溜版本的环境：使用 `gym.envs.registration.register` 设置 `is_slippery: False`。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F6",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},23642,"在 Deep Q-learning with Doom 代码中，为什么要用 `tf.reduce_sum(tf.multiply(self.output, self.actions_), axis=1)` 而不是直接使用 `self.output`？","这是为了从神经网络输出的所有动作的 Q 值中，提取出当前实际采取的动作对应的那个 Q 值。`self.output` 包含所有可能动作的预测值，通过乘以 one-hot 编码的 `self.actions_` 并求和，可以筛选出特定动作的 Q 值用于损失计算。","https:\u002F\u002Fgithub.com\u002Fsimoninithomas\u002FDeep_reinforcement_learning_Course\u002Fissues\u002F1",[]]