[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-miyosuda--async_deep_reinforce":3,"tool-miyosuda--async_deep_reinforce":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",143909,2,"2026-04-07T11:33:18",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":87,"forks":88,"last_commit_at":89,"license":90,"difficulty_score":91,"env_os":92,"env_gpu":93,"env_ram":92,"env_deps":94,"category_tags":102,"github_topics":103,"view_count":32,"oss_zip_url":79,"oss_zip_packed_at":79,"status":17,"created_at":108,"updated_at":109,"faqs":110,"releases":140},5111,"miyosuda\u002Fasync_deep_reinforce","async_deep_reinforce","Asynchronous Methods for Deep Reinforcement Learning","async_deep_reinforce 是一个基于 TensorFlow 实现的开源项目，旨在复现谷歌 DeepMind 提出的“深度强化学习异步方法”（A3C）。它主要解决了传统深度强化学习训练速度慢、对硬件依赖高的问题，通过引入多线程异步机制，让多个游戏环境并行运行并独立更新模型，从而显著提升了在 Atari Pong 等游戏中的训练效率。\n\n该项目同时支持 A3C-FF（前馈网络）和 A3C-LSTM（长短期记忆网络）两种架构，用户可根据需求选择。实测数据显示，在配备 GTX980Ti 显卡的环境下，其并行处理能力优于纯 CPU 运行，能有效加速智能体的学习过程。此外，项目提供了完整的构建指南和可视化演示脚本，方便用户直观观察训练成果。\n\nasync_deep_reinforce 特别适合人工智能领域的研究人员、算法工程师以及对强化学习感兴趣的高级开发者使用。如果你希望深入理解异步优势演员 - 评论家算法的内部机制，或需要在自定义环境中验证相关理论，这是一个极具参考价值的实践范本。需要注意的是，使用前需配置好多线程版的 Arcade 学习环境，并具备基础的深度学习框架操作能力。","# async_deep_reinforce\n\nAsynchronous deep reinforcement learning\n\n## About\n\nAn attempt to repdroduce Google Deep Mind's paper \"Asynchronous Methods for Deep Reinforcement Learning.\"\n\nhttp:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783\n\nAsynchronous Advantage Actor-Critic (A3C) method for playing \"Atari Pong\" is implemented with TensorFlow.\nBoth A3C-FF and A3C-LSTM are implemented.\n\nLearning result movment after 26 hours (A3C-FF) is like this.\n\n[![Learning result after 26 hour](http:\u002F\u002Fnarr.jp\u002Fprivate\u002Fmiyoshi\u002Fdeep_learning\u002Fa3c_preview_image.jpg)](https:\u002F\u002Fyoutu.be\u002FZU71YdAedZs)\n\nAny advice or suggestion is strongly welcomed in issues thread.\n\nhttps:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F1\n\n## How to build\n\nFirst we need to build multi thread ready version of Arcade Learning Enviroment.\nI made some modification to it to run it on multi thread enviroment.\n\n    $ git clone https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002FArcade-Learning-Environment.git\n    $ cd Arcade-Learning-Environment\n    $ cmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=OFF .\n    $ make -j 4\n\t\n    $ pip install .\n\nI recommend to install it on VirtualEnv environment.\n\n## How to run\n\nTo train,\n\n    $python a3c.py\n\nTo display the result with game play,\n\n    $python a3c_disp.py\n\n## Using GPU\nTo enable gpu, change \"USE_GPU\" flag in \"constants.py\".\n\nWhen running with 8 parallel game environemts, speeds of GPU (GTX980Ti) and CPU(Core i7 6700) were like this. (Recorded with LOCAL_T_MAX=20 setting.)\n\n|type | A3C-FF             |A3C-LSTM          |\n|-----|--------------------|------------------|\n| GPU | 1722 steps per sec |864 steps per sec |\n| CPU | 1077 steps per sec |540 steps per sec |\n\n\n## Result\nScore plots of local threads of pong were like these. (with GTX980Ti)\n\n### A3C-LSTM LOCAL_T_MAX = 5\n\n![A3C-LSTM T=5](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmiyosuda_async_deep_reinforce_readme_259875efc86d.png)\n\n### A3C-LSTM LOCAL_T_MAX = 20\n\n![A3C-LSTM T=20](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmiyosuda_async_deep_reinforce_readme_a0c4abcebba0.png)\n\nScores are not averaged using global network unlike the original paper.\n\n## Requirements\n- TensorFlow r1.0\n- numpy\n- cv2\n- matplotlib\n\n## References\n\nThis project uses setting written in muupan's wiki [muuupan\u002Fasync-rl] (https:\u002F\u002Fgithub.com\u002Fmuupan\u002Fasync-rl\u002Fwiki)\n\n\n## Acknowledgements\n\n- [@aravindsrinivas](https:\u002F\u002Fgithub.com\u002Faravindsrinivas) for providing information for some of the hyper parameters.\n\n","# 异步深度强化学习\n\n异步深度强化学习\n\n## 关于\n\n尝试复现 Google DeepMind 的论文《异步深度强化学习方法》。\n\nhttp:\u002F\u002Farxiv.org\u002Fabs\u002F1602.01783\n\n使用 TensorFlow 实现了用于玩“Atari Pong”游戏的异步优势演员-评论家（A3C）方法。同时实现了 A3C-FF 和 A3C-LSTM 两种模型。\n\n经过 26 小时训练后的学习效果视频如下：\n\n[![26小时训练后的学习效果](http:\u002F\u002Fnarr.jp\u002Fprivate\u002Fmiyoshi\u002Fdeep_learning\u002Fa3c_preview_image.jpg)](https:\u002F\u002Fyoutu.be\u002FZU71YdAedZs)\n\n欢迎在 Issues 中提出任何建议或意见。\n\nhttps:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F1\n\n## 如何构建\n\n首先需要构建支持多线程的 Arcade Learning Environment 版本。我对其进行了修改，使其能够在多线程环境下运行。\n\n    $ git clone https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002FArcade-Learning-Environment.git\n    $ cd Arcade-Learning-Environment\n    $ cmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=OFF .\n    $ make -j 4\n\t\n    $ pip install .\n\n建议在 VirtualEnv 环境中安装。\n\n## 如何运行\n\n进行训练：\n\n    $python a3c.py\n\n查看游戏播放结果：\n\n    $python a3c_disp.py\n\n## 使用 GPU\n要启用 GPU，请在 “constants.py” 文件中将 “USE_GPU” 标志设置为 True。\n\n在使用 8 个并行游戏环境时，GPU（GTX980Ti）和 CPU（Core i7 6700）的速度对比如下。（使用 LOCAL_T_MAX=20 设置记录）\n\n|类型 | A3C-FF             |A3C-LSTM          |\n|-----|--------------------|------------------|\n| GPU | 1722 步\u002F秒         |864 步\u002F秒         |\n| CPU | 1077 步\u002F秒         |540 步\u002F秒         |\n\n\n## 结果\nPong 游戏各本地线程的得分曲线如下。（使用 GTX980Ti 显卡）\n\n### A3C-LSTM LOCAL_T_MAX = 5\n\n![A3C-LSTM T=5](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmiyosuda_async_deep_reinforce_readme_259875efc86d.png)\n\n### A3C-LSTM LOCAL_T_MAX = 20\n\n![A3C-LSTM T=20](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmiyosuda_async_deep_reinforce_readme_a0c4abcebba0.png)\n\n与原论文不同，这里的分数并未通过全局网络进行平均。\n\n## 需求\n- TensorFlow r1.0\n- numpy\n- cv2\n- matplotlib\n\n## 参考资料\n\n该项目使用了 muupan 维基 [muuupan\u002Fasync-rl] (https:\u002F\u002Fgithub.com\u002Fmuupan\u002Fasync-rl\u002Fwiki) 中的配置设置。\n\n\n## 致谢\n\n- [@aravindsrinivas](https:\u002F\u002Fgithub.com\u002Faravindsrinivas) 提供了一些超参数的信息。","# async_deep_reinforce 快速上手指南\n\n本指南帮助开发者快速部署并运行基于 TensorFlow 的异步深度强化学习（A3C）工具，用于训练 Atari Pong 游戏代理。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 可能需要额外配置以支持多线程 Arcade 环境)\n*   **Python**: 推荐 Python 3.x\n*   **核心依赖**:\n    *   TensorFlow r1.0\n    *   numpy\n    *   opencv-python (cv2)\n    *   matplotlib\n    *   CMake\n    *   SDL2 开发库 (用于构建 Arcade Learning Environment)\n\n**建议**：推荐使用 `virtualenv` 或 `conda` 创建独立的虚拟环境，以避免依赖冲突。\n\n```bash\n# 示例：创建并激活虚拟环境\npython -m venv a3c_env\nsource a3c_env\u002Fbin\u002Factivate  # Windows 用户使用: a3c_env\\Scripts\\activate\n```\n\n## 安装步骤\n\n本项目需要编译修改版的 Arcade Learning Environment (ALE) 以支持多线程。请按顺序执行以下步骤：\n\n### 1. 克隆并编译 ALE\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002FArcade-Learning-Environment.git\ncd Arcade-Learning-Environment\ncmake -DUSE_SDL=ON -DUSE_RLGLUE=OFF -DBUILD_EXAMPLES=OFF .\nmake -j 4\npip install .\n```\n\n> **提示**：如果 `git clone` 速度较慢，可尝试使用国内镜像源（如 Gitee 镜像，若有）或配置 Git 代理。\n\n### 2. 安装 Python 依赖\n\n返回项目根目录（假设已克隆 `async_deep_reinforce`），安装所需的 Python 包。若国内下载缓慢，建议使用清华或阿里镜像源：\n\n```bash\n# 使用清华镜像源安装依赖\npip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple tensorflow==1.0 numpy opencv-python matplotlib\n```\n\n## 基本使用\n\n### 1. 开始训练\n\n运行主脚本开始训练 A3C 模型（默认使用 CPU，若需 GPU 请参考下方说明）：\n\n```bash\npython a3c.py\n```\n\n### 2. 可视化游戏过程\n\n训练完成后或同时，可以运行显示脚本来观察智能体的游戏表现：\n\n```bash\npython a3c_disp.py\n```\n\n### 3. 启用 GPU 加速\n\n默认配置可能未开启 GPU。如需使用 GPU 加速训练：\n\n1.  打开 `constants.py` 文件。\n2.  将 `USE_GPU` 标志修改为 `True`。\n\n**性能参考**：\n在 8 个并行游戏环境下（GTX980Ti vs Core i7 6700）：\n*   **A3C-FF**: GPU 约 1722 steps\u002Fsec，CPU 约 1077 steps\u002Fsec。\n*   **A3C-LSTM**: GPU 约 864 steps\u002Fsec，CPU 约 540 steps\u002Fsec。","某游戏 AI 研发团队正致力于训练一个能在经典街机游戏《Pong》中达到人类高手水平的智能体，但受限于单线程训练效率低下，项目进度严重滞后。\n\n### 没有 async_deep_reinforce 时\n- **训练周期漫长**：采用传统的同步深度强化学习算法，智能体需要数天甚至数周才能收敛，单次实验迭代成本极高。\n- **硬件资源闲置**：无法有效利用多核 CPU 或多 GPU 的并行计算能力，大部分算力在等待数据交互时处于空闲状态。\n- **策略探索单一**：由于更新频率低，智能体难以在短时间内尝试多样化的游戏策略，容易陷入局部最优解，导致对战表现不稳定。\n- **序列决策困难**：缺乏原生的 LSTM 支持，难以处理需要记忆历史帧信息的复杂时序任务，限制了算法在更复杂游戏场景中的扩展性。\n\n### 使用 async_deep_reinforce 后\n- **训练速度倍增**：借助 A3C（异步优势演员 - 评论家）架构，团队在 GTX980Ti 上实现了每秒 1700+ 步的训练速度，将原本数周的训练压缩至 26 小时内完成。\n- **并行效率最大化**：通过构建多线程就绪的游戏环境，成功启动 8 个并行游戏实例，充分榨干了 CPU 与 GPU 的协同计算潜力。\n- **策略鲁棒性提升**：多个异步代理同时探索不同状态空间，显著加快了策略收敛速度，使 AI 在短时间内学会了灵活多变的接球与防守技巧。\n- **时序建模落地**：直接调用内置的 A3C-LSTM 模型，轻松解决了需要记忆球路轨迹的时序决策问题，为后续迁移到更复杂的视频游戏打下基础。\n\nasync_deep_reinforce 通过异步并行机制彻底打破了深度强化学习的训练瓶颈，让高性能游戏 AI 的快速迭代成为现实。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fmiyosuda_async_deep_reinforce_c822f257.png","miyosuda","Kosuke Miyoshi","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fmiyosuda_32217dcb.jpg","http:\u002F\u002Fnarr.jp","narrative nights inc.","Yokohama, Japan","miyosuda@gmail.com",null,"https:\u002F\u002Fmiyosuda.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fmiyosuda",[83],{"name":84,"color":85,"percentage":86},"Python","#3572A5",100,589,189,"2026-03-31T00:39:48","Apache-2.0",4,"未说明","非必需。支持 NVIDIA GPU（测试型号 GTX980Ti），需修改 constants.py 中的 USE_GPU 标志启用。",{"notes":95,"python":96,"dependencies":97},"需要编译修改版的 Arcade-Learning-Environment 以支持多线程（依赖 cmake 和 make）。建议使用 VirtualEnv 虚拟环境。项目包含 A3C-FF 和 A3C-LSTM 两种模型实现，用于训练 Atari Pong 游戏。","未说明 (需支持 pip 安装)",[98,99,100,101],"TensorFlow r1.0","numpy","cv2","matplotlib",[14],[104,105,106,107],"tensorflow","reinforcement-learning","a3c","deep-learning","2026-03-27T02:49:30.150509","2026-04-08T01:09:04.486761",[111,116,121,126,131,136],{"id":112,"question_zh":113,"answer_zh":114,"source_url":115},23221,"如何查看训练进度图表（Training Progress Graph）？","运行命令 `tensorboard --logdir tmp\u002F`，终端会输出一个端口号。在浏览器中访问 `localhost:\u003C端口号>` 即可打开 TensorBoard。注意：\n1. 确保训练已完成并生成了事件文件（如 events.out.tfevents...）。\n2. 在 TensorBoard 界面中，可能需要点击左侧的 \"score\" 或 \"scalar\" 标签来展开图表窗口（取决于 TensorFlow 版本，0.12 版本可能显示为 scalar）。\n3. 如果看不到图表，尝试关闭终端重新运行命令，并确保点击展开了对应的分数窗口。","https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F20",{"id":117,"question_zh":118,"answer_zh":119,"source_url":120},23222,"为什么使用某些 Atari 游戏 ROM 训练时会报错（Segmentation fault）？哪些游戏是支持的？","并非所有 Atari ROM 都受支持，使用不支持的 ROM（如 video_pinball.bin, space_invaders.bin）会导致段错误（Segmentation fault）。\n已验证可用的游戏包括：\n- pong.bin (动作空间大小 = 3)\n- Centipede.bin (动作空间大小 >= 6)\n- Breakout.bin (动作空间大小 = 4)\n建议从官方 Arcade Learning Environment 资源中获取支持的 ROM 列表，不要随意替换 constants.py 中的 ROM 参数为未经验证的游戏。","https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F35",{"id":122,"question_zh":123,"answer_zh":124,"source_url":125},23223,"运行 a3c.py 时遇到 ValueError: Variable ... does not exist 错误（特别是在 TensorFlow 1.0+ 环境下）如何解决？","这是由于 TensorFlow 版本升级导致变量命名变化引起的。在 TensorFlow 1.0 中，`tf.contrib.rnn.BasicLSTMCell` 创建的变量名发生了改变。\n解决方法是修改 `game_ac_network.py` 中的变量获取代码：\n将原来的：\n`self.W_lstm = tf.get_variable(\"BasicLSTMCell\u002FLinear\u002FMatrix\")`\n替换为：\n`self.W_lstm = tf.get_variable(\"basic_lstm_cell\u002Fweights\")`\n`self.b_lstm = tf.get_variable(\"basic_lstm_cell\u002Fbiases\")`\n\n如果不确定具体的变量名，可以运行以下代码打印所有变量名进行确认：\n```python\nfor x in tf.get_collection(tf.GraphKeys.VARIABLES):\n    print(x.name)\n```\n此外，也可以尝试将代码中的 \"weights\" 替换为 \"kernel\"，\"biases\" 替换为 \"bias\"（视具体 TF 版本而定）。","https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F32",{"id":127,"question_zh":128,"answer_zh":129,"source_url":130},23224,"如何提高 Gym 环境下的图像预处理速度（替代 skimage 以提升仿真速度）？","使用 `cv2` (OpenCV) 库代替 `skimage` 进行图像灰度化和缩放操作可以显著提升速度（测试显示速度提升约一倍）。\n示例代码如下：\n```python\nimport cv2\nimport numpy as np\n\n# 原始观察数据 (210, 160, 3)\nobservation = np.zeros([210, 160, 3], dtype=np.int8)\nobservation = observation.astype(np.float32)\n\n# 使用 cv2 进行灰度转换和缩放\ngrayscale_observation = cv2.cvtColor(observation, cv2.COLOR_RGB2GRAY)\nresized_observation = cv2.resize(grayscale_observation, (84, 84))\n```\n相比 `skimage.color.rgb2gray` 和 `skimage.transform.resize`，`cv2` 的实现效率更高，能有效解决 Gym 环境下仿真速度慢于原生 ALE 的问题。","https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F25",{"id":132,"question_zh":133,"answer_zh":134,"source_url":135},23225,"代码在 TensorFlow 1.0 环境下无法运行，提示变量不存在，是否因为版本不兼容？","是的，该问题是由于代码原本基于 TensorFlow r0.12 编写，而在 r1.0 及以上版本中变量作用域和命名规则发生了变化。\n维护者建议：\n1. 升级或调整代码以适配新的 TensorFlow API（参考上述关于修改 `get_variable` 名称的解决方案）。\n2. 或者回退到 TensorFlow r0.12 环境运行原始代码。\n3. 检查 `RELEASE.md` 了解具体的破坏性更新内容。通常需要将变量名中的 \"Matrix\" 改为 \"weights\" 或 \"kernel\"，并将 \"Bias\" 改为 \"biases\" 或 \"bias\"。","https:\u002F\u002Fgithub.com\u002Fmiyosuda\u002Fasync_deep_reinforce\u002Fissues\u002F33",{"id":137,"question_zh":138,"answer_zh":139,"source_url":135},23226,"为什么通过 git clone 下载的代码无法运行，而网页下载的版本可以？","这可能是因为仓库的主分支（master）已经更新以适配新版本的依赖（如 TensorFlow 1.0），而旧的 Issue 讨论的是旧版本代码的问题，或者反之。\n如果遇到运行问题：\n1. 尝试直接点击 GitHub 页面上的绿色 \"Code\" -> \"Download ZIP\" 按钮下载最新稳定版（通常命名为 `async_deep_reinforce-master`）。\n2. 检查您的 TensorFlow 版本是否与代码要求匹配（例如代码可能已升级到支持 TF 1.0 + Python 3.5）。\n3. 如果使用的是 git clone，请确保拉取的是最新提交：`git pull origin master`。",[]]