[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-siemanko--tensorflow-deepq":3,"tool-siemanko--tensorflow-deepq":64},[4,17,27,35,43,56],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":16},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,3,"2026-04-05T11:01:52",[13,14,15],"开发框架","图像","Agent","ready",{"id":18,"name":19,"github_repo":20,"description_zh":21,"stars":22,"difficulty_score":23,"last_commit_at":24,"category_tags":25,"status":16},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",140436,2,"2026-04-05T23:32:43",[13,15,26],"语言模型",{"id":28,"name":29,"github_repo":30,"description_zh":31,"stars":32,"difficulty_score":23,"last_commit_at":33,"category_tags":34,"status":16},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107662,"2026-04-03T11:11:01",[13,14,15],{"id":36,"name":37,"github_repo":38,"description_zh":39,"stars":40,"difficulty_score":23,"last_commit_at":41,"category_tags":42,"status":16},3704,"NextChat","ChatGPTNextWeb\u002FNextChat","NextChat 是一款轻量且极速的 AI 助手，旨在为用户提供流畅、跨平台的大模型交互体验。它完美解决了用户在多设备间切换时难以保持对话连续性，以及面对众多 AI 模型不知如何统一管理的痛点。无论是日常办公、学习辅助还是创意激发，NextChat 都能让用户随时随地通过网页、iOS、Android、Windows、MacOS 或 Linux 端无缝接入智能服务。\n\n这款工具非常适合普通用户、学生、职场人士以及需要私有化部署的企业团队使用。对于开发者而言，它也提供了便捷的自托管方案，支持一键部署到 Vercel 或 Zeabur 等平台。\n\nNextChat 的核心亮点在于其广泛的模型兼容性，原生支持 Claude、DeepSeek、GPT-4 及 Gemini Pro 等主流大模型，让用户在一个界面即可自由切换不同 AI 能力。此外，它还率先支持 MCP（Model Context Protocol）协议，增强了上下文处理能力。针对企业用户，NextChat 提供专业版解决方案，具备品牌定制、细粒度权限控制、内部知识库整合及安全审计等功能，满足公司对数据隐私和个性化管理的高标准要求。",87618,"2026-04-05T07:20:52",[13,26],{"id":44,"name":45,"github_repo":46,"description_zh":47,"stars":48,"difficulty_score":23,"last_commit_at":49,"category_tags":50,"status":16},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,"2026-04-05T10:45:23",[14,51,52,53,15,54,26,13,55],"数据工具","视频","插件","其他","音频",{"id":57,"name":58,"github_repo":59,"description_zh":60,"stars":61,"difficulty_score":10,"last_commit_at":62,"category_tags":63,"status":16},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,"2026-04-04T04:44:48",[15,14,13,26,54],{"id":65,"github_repo":66,"name":67,"description_en":68,"description_zh":69,"ai_summary_zh":69,"readme_en":70,"readme_zh":71,"quickstart_zh":72,"use_case_zh":73,"hero_image_url":74,"owner_login":75,"owner_name":76,"owner_avatar_url":77,"owner_bio":78,"owner_company":79,"owner_location":80,"owner_email":81,"owner_twitter":78,"owner_website":78,"owner_url":82,"languages":83,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":100,"env_os":101,"env_gpu":101,"env_ram":101,"env_deps":102,"category_tags":110,"github_topics":78,"view_count":23,"oss_zip_url":78,"oss_zip_packed_at":78,"status":16,"created_at":111,"updated_at":112,"faqs":113,"releases":148},4080,"siemanko\u002Ftensorflow-deepq","tensorflow-deepq","A deep Q learning demonstration using Google Tensorflow","tensorflow-deepq 是一个基于 Google TensorFlow 框架的强化学习演示项目，旨在通过深度 Q 学习（Deep Q-Learning）算法展示智能体如何在模拟环境中自主学习决策策略。它主要解决了初学者和研究者理解深度强化学习核心概念难、缺乏可运行代码参考的问题，提供了一个从环境模拟到控制器训练的完整闭环示例。\n\n该项目非常适合 AI 开发者、研究人员以及希望入门强化学习的学生使用。用户不仅可以观察智能体在类似“卡拉帕西游戏”中的自动演化过程，还能通过内置的人类控制器亲自参与模拟，或依据清晰的接口规范编写","# This reposity is now obsolte!\n\nCheck out the new simpler, better performing and more complete implementation that we released at OpenAI:\n\nhttps:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\n\n\n(scroll for docs of the obsolete version)\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\n\n\n\n\n\n\n\n### Reinforcement Learning using Tensor Flow\n\n\n#### Quick start\n\nCheck out Karpathy game in `notebooks` folder.\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsiemanko_tensorflow-deepq_readme_46616b532ffc.gif\" width=\"60%\" \u002F>\n\n*The image above depicts a strategy learned by the DeepQ controller. Available actions are accelerating top, bottom, left or right. The reward signal is +1 for the green fellas, -1 for red and -5 for orange.*\n\n#### Requirements\n\n- `future==0.15.2`\n- `euclid==0.1`\n- `inkscape` (for animation gif creation)\n\n#### How does this all fit together.\n\n`tf_rl` has controllers and simulators which can be pieced together using simulate function.\n\n#### Using human controller.\nWant to have some fun controlling the simulation by yourself? You got it!\nUse `tf_rl.controller.HumanController` in your simulation.\n\nTo issue commands run in terminal\n```python3\npython3 tf_rl\u002Fcontroller\u002Fhuman_controller.py\n```\nFor it to work you also need to have a redis server running locally.\n\n#### Writing your own controller\nTo write your own controller define a controller class with 3 functions:\n- `action(self, observation)` given an observation (usually a tensor of numbers) representing an observation returns action to perform.\n- `store(self, observation, action, reward, newobservation)` called each time a transition is observed from `observation` to `newobservation`. Transition is a consequence of `action` and has associated `reward`\n- `training_step(self)` if your controller requires training that is the place to do it, should not take to long, because it will be called roughly every action execution.\n\n#### Writing your own simulation\nTo write your own simulation define a simulation class with 4 functions:\n- `observe(self)` returns a current observation\n- `collect_reward(self)` returns the reward accumulated since the last time function was called.\n- `perform_action(self, action)` updates internal state to reflect the fact that `aciton` was executed\n- `step(self, dt)` update internal state as if `dt` of simulation time has passed.\n- `to_html(self, info=[])` generate an html visualization of the game. `info` can be optionally passed an has a list of strings that should be displayed along with the visualization\n\n\n\n#### Creating GIFs based on simulation\nThe `simulate` method accepts `save_path` argument which is a folder where all the consecutive images will be stored.\nTo make them into a GIF use `scripts\u002Fmake_gif.sh PATH` where path is the same as the path you passed to `save_path` argument\n","# 此代码库现已废弃！\n\n请查看我们在 OpenAI 发布的全新、更简单、性能更好且功能更完善的实现：\n\nhttps:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\n\n\n（向下滚动可查看已废弃版本的文档）\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\u003Cbr \u002F>\n\n\n\n\n\n\n\n\n### 使用 TensorFlow 的强化学习\n\n\n#### 快速入门\n\n请在 `notebooks` 文件夹中查看 Karpathy 的游戏示例。\n\n\u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsiemanko_tensorflow-deepq_readme_46616b532ffc.gif\" width=\"60%\" \u002F>\n\n*上图展示的是由 DeepQ 控制器学习到的一种策略。可用的动作包括向上、向下、向左或向右加速。奖励信号为：绿色方块得 +1 分，红色方块得 -1 分，橙色方块得 -5 分。*\n\n#### 环境要求\n\n- `future==0.15.2`\n- `euclid==0.1`\n- `inkscape`（用于制作动画 GIF）\n\n#### 整体架构\n\n`tf_rl` 包含控制器和模拟器，可以通过 `simulate` 函数将它们组合起来使用。\n\n#### 使用人类控制器\n想亲自控制模拟过程来玩一玩吗？当然可以！只需在您的模拟中使用 `tf_rl.controller.HumanController` 即可。\n要在终端中运行命令：\n```python3\npython3 tf_rl\u002Fcontroller\u002Fhuman_controller.py\n```\n此外，您还需要在本地运行一个 Redis 服务器才能使该功能正常工作。\n\n#### 编写自定义控制器\n要编写自己的控制器，需要定义一个包含以下三个方法的控制器类：\n- `action(self, observation)`：根据当前观测值（通常是一个数值张量）返回要执行的动作。\n- `store(self, observation, action, reward, newobservation)`：每次从 `observation` 转移到 `newobservation` 时调用此方法。转移是执行 `action` 的结果，并伴有相应的 `reward`。\n- `training_step(self)`：如果您的控制器需要训练，则在此处进行，但应尽量缩短时间，因为该方法大约会在每次执行动作后被调用一次。\n\n#### 编写自定义模拟器\n要编写自己的模拟器，需要定义一个包含以下四个方法的模拟器类：\n- `observe(self)`：返回当前的观测值。\n- `collect_reward(self)`：返回自上次调用以来累计的奖励。\n- `perform_action(self, action)`：更新内部状态以反映已执行 `action` 的事实。\n- `step(self, dt)`：更新内部状态，模拟经过了 `dt` 时间单位的模拟时间。\n- `to_html(self, info=[])`：生成游戏的 HTML 可视化界面。`info` 是一个可选参数，用于传递需要与可视化一同显示的字符串列表。\n\n\n\n#### 根据模拟生成 GIF 动画\n`simulate` 方法接受 `save_path` 参数，该参数指定一个文件夹，所有连续的图像都将存储在其中。\n要将这些图像转换为 GIF，请使用 `scripts\u002Fmake_gif.sh PATH` 命令，其中 `PATH` 应与您传递给 `save_path` 参数的路径相同。","# tensorflow-deepq 快速上手指南\n\n> **⚠️ 重要提示**：本仓库（tensorflow-deepq）已**过时（obsolete）**。\n> OpenAI 已发布更简单、性能更好且功能更完整的实现方案，强烈建议开发者直接使用新版：\n> [https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines)\n>\n> 以下指南仅针对希望了解或运行此旧版本代码的开发者。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**：Linux 或 macOS（Windows 可能需要额外配置）\n*   **Python 版本**：Python 3\n*   **核心依赖**：\n    *   `future==0.15.2`\n    *   `euclid==0.1`\n    *   `inkscape`（用于生成动画 GIF，需单独安装系统级工具）\n*   **其他服务**：若使用人工控制器（HumanController），需在本地运行 **Redis** 服务器。\n\n## 安装步骤\n\n1.  **克隆仓库**\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fopenai\u002Ftensorflow-deepq.git\n    cd tensorflow-deepq\n    ```\n\n2.  **安装 Python 依赖**\n    建议使用虚拟环境，然后安装所需包：\n    ```bash\n    pip install future==0.15.2 euclid==0.1\n    # 如果国内下载速度慢，可使用清华源：\n    # pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple future==0.15.2 euclid==0.1\n    ```\n\n3.  **安装系统工具 (Inkscape)**\n    *   **Ubuntu\u002FDebian**: `sudo apt-get install inkscape`\n    *   **macOS (Homebrew)**: `brew install inkscape`\n\n4.  **启动 Redis (可选，仅用于人工控制演示)**\n    ```bash\n    redis-server\n    ```\n\n## 基本使用\n\n### 1. 运行示例游戏\n最快速的体验方式是运行 `notebooks` 文件夹中的 Karpathy 游戏示例。该示例展示了一个 DeepQ 控制器学习到的策略：\n*   **操作**：向上、下、左、右加速。\n*   **奖励机制**：遇到绿色物体 +1 分，红色 -1 分，橙色 -5 分。\n\n您可以直接在 Jupyter Notebook 中打开并运行相关脚本，或通过命令行调用模拟函数。\n\n### 2. 使用人工控制器 (Human Controller)\n如果您想亲自控制仿真过程进行测试：\n\n```bash\npython3 tf_rl\u002Fcontroller\u002Fhuman_controller.py\n```\n*注意：运行前请确保本地 Redis 服务已启动。*\n\n### 3. 开发自定义组件\n\n#### 编写自己的控制器 (Controller)\n定义一个类并实现以下三个核心方法：\n*   `action(self, observation)`: 接收观测值（通常为数字张量），返回要执行的动作。\n*   `store(self, observation, action, reward, newobservation)`: 每次观察到状态转移时调用，用于存储经验数据。\n*   `training_step(self)`: 执行训练步骤。该方法会被频繁调用（约每次动作执行时），因此必须保持高效。\n\n#### 编写自己的仿真环境 (Simulation)\n定义一个仿真类并实现以下四个核心方法：\n*   `observe(self)`: 返回当前观测值。\n*   `collect_reward(self)`: 返回自上次调用以来累积的奖励。\n*   `perform_action(self, action)`: 更新内部状态以反映动作的执行。\n*   `step(self, dt)`: 更新内部状态，模拟经过 `dt` 时间后的变化。\n*   `to_html(self, info=[])`: (可选) 生成游戏的 HTML 可视化内容。\n\n### 4. 生成演示 GIF\n`simulate` 方法支持 `save_path` 参数，用于保存连续帧图片。生成 GIF 的命令如下：\n\n```bash\nscripts\u002Fmake_gif.sh PATH\n```\n*将 `PATH` 替换为您传递给 `save_path` 参数的文件夹路径。*","某高校机器人实验室的研究团队正尝试让一台双轮平衡小车在复杂迷宫中自主寻路，需要快速验证深度强化学习算法的有效性。\n\n### 没有 tensorflow-deepq 时\n- 研究人员需从零搭建深度学习框架与强化学习环境的交互接口，耗费数周时间处理数据格式对齐问题。\n- 缺乏可视化的调试手段，只能依靠打印日志猜测智能体（Agent）为何总是撞向红色障碍区，难以直观分析策略缺陷。\n- 手动编写奖励函数逻辑繁琐，每次调整“绿色目标 +1 分、橙色陷阱 -5 分”的规则后，都需要重新编译整个项目才能测试。\n- 无法快速生成训练过程的动态演示视频，导致在向导师汇报进展时，只能用枯燥的数据表格代替直观的行为展示。\n\n### 使用 tensorflow-deepq 后\n- 直接调用 `tf_rl` 模块中现成的控制器与模拟器接口，通过 `simulate` 函数即可将算法与环境快速拼接，半天内完成原型部署。\n- 利用内置的 HTML 可视化功能 (`to_html`) 和 GIF 生成脚本，实时观察小车在加速、转向时的决策过程，迅速定位避障策略漏洞。\n- 只需定义简单的 `store` 和 `action` 函数即可自定义控制逻辑，灵活调整奖励信号反馈，即时验证不同分值设定对收敛速度的影响。\n- 通过 `HumanController` 模式亲自上手操控模拟环境，直观感受任务难度，并为后续编写自动化控制器提供宝贵的先验经验。\n\ntensorflow-deepq 通过提供标准化的仿真环境与可视化闭环，将深度强化学习的验证周期从数周缩短至数小时，极大降低了算法原型的试错成本。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fsiemanko_tensorflow-deepq_2eeb3085.png","siemanko","Szymon Sidor","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fsiemanko_e799956b.png",null,"OpenAI","San Franscisco, CA","szymon.sidor@gmail.com","https:\u002F\u002Fgithub.com\u002Fsiemanko",[84,88,92],{"name":85,"color":86,"percentage":87},"Jupyter Notebook","#DA5B0B",69.9,{"name":89,"color":90,"percentage":91},"Python","#3572A5",29.8,{"name":93,"color":94,"percentage":95},"Shell","#89e051",0.3,1166,291,"2026-03-30T04:39:54","MIT",5,"未说明",{"notes":103,"python":104,"dependencies":105},"该仓库已废弃，建议迁移至 OpenAI baselines。运行人类控制器（HumanController）需要在本地启动 Redis 服务器。需要安装 Inkscape 用于生成动画 GIF。","3.x (通过 python3 命令推断)",[106,107,108,109],"future==0.15.2","euclid==0.1","tensorflow (隐含依赖)","redis (运行人类控制器必需)",[13],"2026-03-27T02:49:30.150509","2026-04-06T09:05:30.671190",[114,119,123,128,133,138,143],{"id":115,"question_zh":116,"answer_zh":117,"source_url":118},18588,"如何运行项目或开始使用？","确保已将项目移动到 Python 的 site-packages 目录，并安装了所有必要的模块。你需要运行一个 Redis 服务器。在 Jupyter Notebook 中，建议使用 Shift+Enter 运行单个单元格，或者通过菜单选择 'Cell -> Run Cells and Select below' 来逐步执行，而不是直接运行所有单元格。","https:\u002F\u002Fgithub.com\u002Fsiemanko\u002Ftensorflow-deepq\u002Fissues\u002F25",{"id":120,"question_zh":121,"answer_zh":122,"source_url":118},18589,"为什么禁用 fast_mode 后奖励值（reward）没有变化或始终为 0？","奖励值代表上一步收集的即时奖励。如果禁用 `fast_mode`，你可能会看到微小的变化，但更关键的指标是：随着训练的进行，收集到的绿色弹珠总数应远高于红色弹珠总数，这表明网络正在正常训练。请观察总收集数量而非单步奖励值。",{"id":124,"question_zh":125,"answer_zh":126,"source_url":127},18590,"连续控制器（continuous controller）是基于什么方法或论文实现的？","该项目当前的连续分支尝试实现连续深度 Q 网络（Continuous DQN）。维护者提到其新项目 'deeprl' 重新实现了全部内容并添加了 A3C 算法，但在本仓库中主要参考了连续 DQN 的思路，而非直接照搬 DDPG 等特定论文。","https:\u002F\u002Fgithub.com\u002Fsiemanko\u002Ftensorflow-deepq\u002Fissues\u002F15",{"id":129,"question_zh":130,"answer_zh":131,"source_url":132},18591,"如何处理高维状态空间（例如来自 Kinect 的多个关节坐标）？","虽然示例代码中的状态可能看似单个整数，但实际上可以将所有关节数据（如 x,y,z 坐标）作为向量输入到 Tensor 中。对于动作空间，不仅可以处理离散动作，也可以扩展以支持多个电机控制。建议直接将原始关节数据馈送到神经网络中，以获得比预编程手势更好的动作选择效果。","https:\u002F\u002Fgithub.com\u002Fsiemanko\u002Ftensorflow-deepq\u002Fissues\u002F8",{"id":134,"question_zh":135,"answer_zh":136,"source_url":137},18592,"为什么最近提交后性能下降了约 5 倍？","性能下降的原因是在每个训练步骤中创建了多个 `tf.no_op()` 操作，这非常消耗资源。此外，频繁创建数千个新节点（即使它们相同）而没有被 TensorFlow 内部缓存也会导致浪费。解决方法是避免在循环中重复创建此类操作，并确保正确配置 `calculate_summaries` 参数。","https:\u002F\u002Fgithub.com\u002Fsiemanko\u002Ftensorflow-deepq\u002Fissues\u002F2",{"id":139,"question_zh":140,"answer_zh":141,"source_url":142},18593,"遇到 'undefined symbol: PyClass_Type' 或 TensorFlow 导入错误怎么办？","这类链接错误通常与本项目无关，而是由于 TensorFlow 本身与 Python 版本（如 Python 3.4）不兼容导致的。这是一个纯 Python 项目，出现底层符号未定义错误通常是 TensorFlow 安装环境的问题。建议检查 TensorFlow 版本与 Python 版本的兼容性，或在 Superuser\u002FStackOverflow 上寻求针对 TensorFlow 安装问题的帮助。","https:\u002F\u002Fgithub.com\u002Fsiemanko\u002Ftensorflow-deepq\u002Fissues\u002F13",{"id":144,"question_zh":145,"answer_zh":146,"source_url":147},18594,"如何优化多网络训练的性能和策略？","建议保持网络数量恒定（例如 N=40），并定期淘汰表现最差的 N\u002F2 个网络，用初始化的新网络替换它们。这样可以控制需要运行的游戏数量并保持效率。此外，还可以考虑实施完整的进化编程策略，对获胜网络进行变异和交叉操作。","https:\u002F\u002Fgithub.com\u002Fsiemanko\u002Ftensorflow-deepq\u002Fissues\u002F7",[]]