[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-google--dopamine":3,"tool-google--dopamine":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",148568,2,"2026-04-09T23:34:24",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":77,"owner_location":77,"owner_email":78,"owner_twitter":79,"owner_website":80,"owner_url":81,"languages":82,"stars":102,"forks":103,"last_commit_at":104,"license":105,"difficulty_score":10,"env_os":106,"env_gpu":107,"env_ram":106,"env_deps":108,"category_tags":116,"github_topics":117,"view_count":32,"oss_zip_url":77,"oss_zip_packed_at":77,"status":17,"created_at":122,"updated_at":123,"faqs":124,"releases":155},6181,"google\u002Fdopamine","dopamine","Dopamine is a research framework for fast prototyping of reinforcement learning algorithms. ","Dopamine 是一个专为强化学习算法快速原型设计而打造的研究框架。它致力于解决科研人员在尝试新颖、甚至大胆的想法时，常面临代码库过于庞大复杂或难以复现结果的痛点。通过提供一个精简且易于理解的代码基础，Dopamine 让实验变得简单灵活，同时确保了核心算法实现的紧凑性与可靠性，严格遵循学术界推荐的复现标准。\n\n这款工具特别适合强化学习领域的研究人员和开发者使用，尤其是那些希望快速验证假设、进行基准测试或探索前沿算法的团队成员。与普通用户不同，使用者通常需要具备一定的机器学习背景，以便在 Atari 或 Mujoco 等环境中训练智能体。\n\nDopamine 的技术亮点在于其对主流强化学习算法的高质量支持，包括 DQN、C51、Rainbow、IQN、SAC 和 PPO 等。值得注意的是，虽然框架保留了对 TensorFlow 的兼容以支持遗留项目，但其新开发的代理已全面转向更高效、更现代的 JAX 后端。此外，项目还提供了丰富的基线结果、Docker 容器支持以及交互式 Colab 笔记，帮助用户无缝上手并复现经典实验成果。作为一个由 Google 团队开源的非官方产品，Dopam","Dopamine 是一个专为强化学习算法快速原型设计而打造的研究框架。它致力于解决科研人员在尝试新颖、甚至大胆的想法时，常面临代码库过于庞大复杂或难以复现结果的痛点。通过提供一个精简且易于理解的代码基础，Dopamine 让实验变得简单灵活，同时确保了核心算法实现的紧凑性与可靠性，严格遵循学术界推荐的复现标准。\n\n这款工具特别适合强化学习领域的研究人员和开发者使用，尤其是那些希望快速验证假设、进行基准测试或探索前沿算法的团队成员。与普通用户不同，使用者通常需要具备一定的机器学习背景，以便在 Atari 或 Mujoco 等环境中训练智能体。\n\nDopamine 的技术亮点在于其对主流强化学习算法的高质量支持，包括 DQN、C51、Rainbow、IQN、SAC 和 PPO 等。值得注意的是，虽然框架保留了对 TensorFlow 的兼容以支持遗留项目，但其新开发的代理已全面转向更高效、更现代的 JAX 后端。此外，项目还提供了丰富的基线结果、Docker 容器支持以及交互式 Colab 笔记，帮助用户无缝上手并复现经典实验成果。作为一个由 Google 团队开源的非官方产品，Dopamine 以其务实的设计理念，成为了连接理论创新与工程实践的理想桥梁。","# Dopamine\n[Getting Started](#getting-started) |\n[Docs][docs] |\n[Baseline Results][baselines] |\n[Changelist](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs\u002Fchangelist)\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgoogle_dopamine_readme_11bcf6edd6af.png\">\u003Cbr>\u003Cbr>\n\u003C\u002Fdiv>\n\nDopamine is a research framework for fast prototyping of reinforcement learning\nalgorithms. It aims to fill the need for a small, easily grokked codebase in\nwhich users can freely experiment with wild ideas (speculative research).\n\nOur design principles are:\n\n* _Easy experimentation_: Make it easy for new users to run benchmark\n                          experiments.\n* _Flexible development_: Make it easy for new users to try out research ideas.\n* _Compact and reliable_: Provide implementations for a few, battle-tested\n                          algorithms.\n* _Reproducible_: Facilitate reproducibility in results. In particular, our\n                  setup follows the recommendations given by\n                  [Machado et al. (2018)][machado].\n\nDopamine supports the following agents, implemented with jax:\n\n* DQN ([Mnih et al., 2015][dqn])\n* C51 ([Bellemare et al., 2017][c51])\n* Rainbow ([Hessel et al., 2018][rainbow])\n* IQN ([Dabney et al., 2018][iqn])\n* SAC ([Haarnoja et al., 2018][sac])\n* PPO ([Schulman et al., 2017][ppo])\n\nFor more information on the available agents, see the [docs](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs).\n\nMany of these agents also have a tensorflow (legacy) implementation, though\nnewly added agents are likely to be jax-only.\n\nThis is not an official Google product.\n\n## Getting Started\n\n\nWe provide docker containers for using Dopamine.\nInstructions can be found [here](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocker\u002F).\n\nAlternatively, Dopamine can be installed from source (preferred) or installed\nwith pip. For either of these methods, continue reading at prerequisites.\n\n### Prerequisites\n\nDopamine supports Atari environments and Mujoco environments. Install the\nenvironments you intend to use before you install Dopamine:\n\n**Atari**\n\n1. These should now come packaged with\n   [ale_py](https:\u002F\u002Fgithub.com\u002FFarama-Foundation\u002FArcade-Learning-Environment).\n1. You may need to manually run some steps to properly install `baselines`, see\n   [instructions](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines).\n\n**Mujoco**\n\n1. Install Mujoco and get a license\n[here](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fmujoco-py#install-mujoco).\n2. Run `pip install mujoco-py` (we recommend using a\n[virtual environment](virtualenv)).\n\n### Installing from Source\n\n\nThe most common way to use Dopamine is to install it from source and modify\nthe source code directly:\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\n```\n\nAfter cloning, install dependencies:\n\n```\npip install -r dopamine\u002Frequirements.txt\n```\n\nDopamine supports tensorflow (legacy) and jax (actively maintained) agents.\nView the [Tensorflow documentation](https:\u002F\u002Fwww.tensorflow.org\u002Finstall) for\nmore information on installing tensorflow.\n\nNote: We recommend using a [virtual environment](virtualenv) when working with Dopamine.\n\n### Installing with Pip\n\nNote: We strongly recommend installing from source for most users.\n\nInstalling with pip is simple, but Dopamine is designed to be modified\ndirectly. We recommend installing from source for writing your own experiments.\n\n```\npip install dopamine-rl\n```\n\n### Running tests\n\nYou can test whether the installation was successful by running the following\nfrom the dopamine root directory.\n\n```\nexport PYTHONPATH=$PYTHONPATH:$PWD\npython -m tests.dopamine.atari_init_test\n```\n\n## Next Steps\n\nView the [docs][docs] for more information on training agents.\n\nWe supply [baselines][baselines] for each Dopamine agent.\n\nWe also provide a set of [Colaboratory notebooks](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Ftree\u002Fmaster\u002Fdopamine\u002Fcolab)\nwhich demonstrate how to use Dopamine.\n\n## References\n\n[Bellemare et al., *The Arcade Learning Environment: An evaluation platform for\ngeneral agents*. Journal of Artificial Intelligence Research, 2013.][ale]\n\n[Machado et al., *Revisiting the Arcade Learning Environment: Evaluation\nProtocols and Open Problems for General Agents*, Journal of Artificial\nIntelligence Research, 2018.][machado]\n\n[Hessel et al., *Rainbow: Combining Improvements in Deep Reinforcement Learning*.\nProceedings of the AAAI Conference on Artificial Intelligence, 2018.][rainbow]\n\n[Mnih et al., *Human-level Control through Deep Reinforcement Learning*. Nature,\n2015.][dqn]\n\n[Schaul et al., *Prioritized Experience Replay*. Proceedings of the International\nConference on Learning Representations, 2016.][prioritized_replay]\n\n[Haarnoja et al., *Soft Actor-Critic Algorithms and Applications*,\narXiv preprint arXiv:1812.05905, 2018.][sac]\n\n[Schulman et al., *Proximal Policy Optimization Algorithms*.][ppo]\n\n## Giving credit\n\nIf you use Dopamine in your work, we ask that you cite our\n[white paper][dopamine_paper]. Here is an example BibTeX entry:\n\n```\n@article{castro18dopamine,\n  author    = {Pablo Samuel Castro and\n               Subhodeep Moitra and\n               Carles Gelada and\n               Saurabh Kumar and\n               Marc G. Bellemare},\n  title     = {Dopamine: {A} {R}esearch {F}ramework for {D}eep {R}einforcement {L}earning},\n  year      = {2018},\n  url       = {http:\u002F\u002Farxiv.org\u002Fabs\u002F1812.06110},\n  archivePrefix = {arXiv}\n}\n```\n\n\n[docs]: https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs\u002F\n[baselines]: https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fbaselines\n[machado]: https:\u002F\u002Fjair.org\u002Findex.php\u002Fjair\u002Farticle\u002Fview\u002F11182\n[ale]: https:\u002F\u002Fjair.org\u002Findex.php\u002Fjair\u002Farticle\u002Fview\u002F10819\n[dqn]: https:\u002F\u002Fstorage.googleapis.com\u002Fdeepmind-media\u002Fdqn\u002FDQNNaturePaper.pdf\n[a3c]: http:\u002F\u002Fproceedings.mlr.press\u002Fv48\u002Fmniha16.html\n[prioritized_replay]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.05952\n[c51]: http:\u002F\u002Fproceedings.mlr.press\u002Fv70\u002Fbellemare17a.html\n[rainbow]: https:\u002F\u002Fwww.aaai.org\u002Focs\u002Findex.php\u002FAAAI\u002FAAAI18\u002Fpaper\u002Fdownload\u002F17204\u002F16680\n[iqn]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1806.06923\n[sac]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.05905\n[ppo]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347\n[dopamine_paper]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.06110\n[vitualenv]: https:\u002F\u002Fdocs.python.org\u002F3\u002Flibrary\u002Fvenv.html#creating-virtual-environments\n","# 多巴胺\n[入门指南](#getting-started) |\n[文档][docs] |\n[基准结果][baselines] |\n[变更日志](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs\u002Fchangelist)\n\n\u003Cdiv align=\"center\">\n  \u003Cimg src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgoogle_dopamine_readme_11bcf6edd6af.png\">\u003Cbr>\u003Cbr>\n\u003C\u002Fdiv>\n\nDopamine 是一个用于快速原型化强化学习算法的研究框架。它的目标是提供一个小型、易于理解的代码库，使用户能够自由地尝试各种大胆的想法（即探索性研究）。\n\n我们的设计原则是：\n\n* _易于实验_：让新用户能够轻松运行基准实验。\n* _灵活开发_：让新用户能够方便地尝试新的研究思路。\n* _简洁可靠_：提供经过实战检验的少数几种算法实现。\n* _可复现_：促进实验结果的可复现性。特别是，我们的设置遵循了 [Machado 等人 (2018)](machado) 的建议。\n\nDopamine 支持以下使用 JAX 实现的智能体：\n\n* DQN ([Mnih 等人, 2015])(dqn)\n* C51 ([Bellemare 等人, 2017])(c51)\n* Rainbow ([Hessel 等人, 2018])(rainbow)\n* IQN ([Dabney 等人, 2018])(iqn)\n* SAC ([Haarnoja 等人, 2018])(sac)\n* PPO ([Schulman 等人, 2017])(ppo)\n\n有关可用智能体的更多信息，请参阅 [文档](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs)。\n\n这些智能体中的许多也有 TensorFlow（旧版）实现，不过新添加的智能体很可能仅支持 JAX。\n\n本项目并非 Google 官方产品。\n\n## 入门指南\n\n\n我们提供了用于使用 Dopamine 的 Docker 容器。使用说明请见 [这里](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocker\u002F)。\n\n此外，也可以从源码安装 Dopamine（推荐方式）或通过 pip 安装。无论采用哪种方式，都请继续阅读先决条件部分。\n\n### 先决条件\n\nDopamine 支持 Atari 环境和 Mujoco 环境。在安装 Dopamine 之前，请先安装您打算使用的环境：\n\n**Atari**\n\n1. 这些环境现在应该已经包含在 [ale_py](https:\u002F\u002Fgithub.com\u002FFarama-Foundation\u002FArcade-Learning-Environment) 中。\n1. 您可能需要手动执行一些步骤来正确安装 `baselines`，具体请参阅 [说明](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines)。\n\n**Mujoco**\n\n1. 请在此处安装 Mujoco 并获取许可证：[https:\u002F\u002Fgithub.com\u002Fopenai\u002Fmujoco-py#install-mujoco](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fmujoco-py#install-mujoco)。\n2. 运行 `pip install mujoco-py`（我们建议使用 [虚拟环境](virtualenv)）。\n\n### 从源码安装\n\n\n使用 Dopamine 最常见的方式是从源码安装并直接修改源代码：\n\n```\ngit clone https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\n```\n\n克隆完成后，安装依赖项：\n\n```\npip install -r dopamine\u002Frequirements.txt\n```\n\nDopamine 同时支持 TensorFlow（旧版）和 JAX（当前维护中）的智能体。有关安装 TensorFlow 的更多信息，请参阅 [TensorFlow 文档](https:\u002F\u002Fwww.tensorflow.org\u002Finstall)。\n\n注意：我们建议在使用 Dopamine 时使用 [虚拟环境](virtualenv)。\n\n### 使用 pip 安装\n\n注意：我们强烈建议大多数用户从源码安装。\n\n使用 pip 安装虽然简单，但 Dopamine 的设计初衷是允许直接修改代码。因此，我们仍推荐从源码安装以进行自定义实验。\n\n```\npip install dopamine-rl\n```\n\n### 运行测试\n\n您可以从 Dopamine 根目录运行以下命令来测试安装是否成功：\n\n```\nexport PYTHONPATH=$PYTHONPATH:$PWD\npython -m tests.dopamine.atari_init_test\n```\n\n## 后续步骤\n\n请参阅 [文档](docs) 以获取更多关于训练智能体的信息。\n\n我们为每个 Dopamine 智体提供了 [基准实现](baselines)。\n\n此外，我们还提供了一组 [Colaboratory 笔记本](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Ftree\u002Fmaster\u002Fdopamine\u002Fcolab)，演示如何使用 Dopamine。\n\n## 参考文献\n\n[Bellemare 等人，《街机学习环境：通用智能体的评估平台》。人工智能研究杂志，2013 年。](ale)\n\n[Machado 等人，《重访街机学习环境：通用智能体的评估协议与开放问题》，人工智能研究杂志，2018 年。](machado)\n\n[Hessel 等人，《Rainbow：结合深度强化学习的多项改进》。AAAI 人工智能会议论文集，2018 年。](rainbow)\n\n[Mnih 等人，《通过深度强化学习实现人类水平控制》。自然杂志，2015 年。](dqn)\n\n[Schaul 等人，《优先级经验回放》。国际学习表征会议论文集，2016 年。](prioritized_replay)\n\n[Haarnoja 等人，《软演员-评论家算法及其应用》，arXiv 预印本 arXiv:1812.05905，2018 年。](sac)\n\n[Schulman 等人，《近端策略优化算法》。](ppo)\n\n## 致谢\n\n如果您在工作中使用了 Dopamine，我们恳请您引用我们的 [白皮书](dopamine_paper)。以下是一个 BibTeX 条目的示例：\n\n```\n@article{castro18dopamine,\n  author    = {Pablo Samuel Castro and\n               Subhodeep Moitra and\n               Carles Gelada and\n               Saurabh Kumar and\n               Marc G. Bellemare},\n  title     = {Dopamine: {A} {R}esearch {F}ramework for {D}eep {R}einforcement {L}earning},\n  year      = {2018},\n  url       = {http:\u002F\u002Farxiv.org\u002Fabs\u002F1812.06110},\n  archivePrefix = {arXiv}\n}\n```\n\n\n[docs]: https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs\u002F\n[baselines]: https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fbaselines\n[machado]: https:\u002F\u002Fjair.org\u002Findex.php\u002Fjair\u002Farticle\u002Fview\u002F11182\n[ale]: https:\u002F\u002Fjair.org\u002Findex.php\u002Fjair\u002Farticle\u002Fview\u002F10819\n[dqn]: https:\u002F\u002Fstorage.googleapis.com\u002Fdeepmind-media\u002Fdqn\u002FDQNNaturePaper.pdf\n[a3c]: http:\u002F\u002Fproceedings.mlr.press\u002Fv48\u002Fmniha16.html\n[prioritized_replay]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1511.05952\n[c51]: http:\u002F\u002Fproceedings.mlr.press\u002Fv70\u002Fbellemare17a.html\n[rainbow]: https:\u002F\u002Fwww.aaai.org\u002Focs\u002Findex.php\u002FAAAI\u002FAAAI18\u002Fpaper\u002Fdownload\u002F17204\u002F16680\n[iqn]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1806.06923\n[sac]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.05905\n[ppo]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1707.06347\n[dopamine_paper]: https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.06110\n[vitualenv]: https:\u002F\u002Fdocs.python.org\u002F3\u002Flibrary\u002Fvenv.html#creating-virtual-environments","# Dopamine 快速上手指南\n\nDopamine 是一个用于强化学习算法快速原型设计的科研框架，旨在提供一个轻量、易读的代码库，方便研究人员自由实验各种创新想法。它支持多种经典算法（如 DQN, Rainbow, SAC, PPO 等），主要基于 JAX 实现（部分旧算法支持 TensorFlow）。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求，并根据需要安装对应的仿真环境。\n\n### 系统要求\n*   **Python**: 推荐 Python 3.8+\n*   **虚拟环境**: 强烈建议使用 `virtualenv` 或 `conda` 创建独立的开发环境。\n*   **深度学习框架**: \n    *   **JAX** (推荐，活跃维护)\n    *   **TensorFlow** (遗留支持，仅部分旧算法)\n\n### 前置依赖：仿真环境\nDopamine 主要支持 Atari 和 MuJoCo 环境，请在安装 Dopamine 前先配置好所需的环境。\n\n#### 1. Atari 环境\nAtari 环境通常随 `ale_py` 包提供：\n```bash\npip install ale-py\n# 可能需要手动配置 baselines，参考：https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\n```\n\n#### 2. MuJoCo 环境\n需要获取许可证并安装：\n1.  访问 [MuJoCo 官网](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fmujoco-py#install-mujoco) 下载并获取 License。\n2.  安装 python 绑定：\n```bash\npip install mujoco-py\n```\n\n> **国内加速提示**：如果下载依赖较慢，建议使用国内镜像源（如清华源或阿里源）：\n> `pip install -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple \u003Cpackage_name>`\n\n## 安装步骤\n\n推荐从源码安装，以便直接修改代码进行实验。\n\n### 方法一：从源码安装（推荐）\n\n1.  **克隆仓库**：\n    ```bash\n    git clone https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\n    cd dopamine\n    ```\n\n2.  **安装依赖**：\n    ```bash\n    pip install -r dopamine\u002Frequirements.txt\n    ```\n    *注：若需使用 TensorFlow 版本，请额外参考 [TensorFlow 安装文档](https:\u002F\u002Fwww.tensorflow.org\u002Finstall)。*\n\n3.  **验证安装**：\n    在项目根目录运行以下命令测试是否安装成功：\n    ```bash\n    export PYTHONPATH=$PYTHONPATH:$PWD\n    python -m tests.dopamine.atari_init_test\n    ```\n\n### 方法二：使用 Pip 安装\n\n适用于仅需调用库功能而不修改源码的场景：\n```bash\npip install dopamine-rl\n```\n\n## 基本使用\n\n安装完成后，您可以参考官方提供的 Colab 笔记本或文档开始训练代理。以下是最基础的使用流程概述：\n\n1.  **选择算法与环境**：\n    Dopamine 内置了多种基于 JAX 的算法实现，包括：\n    *   DQN, C51, Rainbow, IQN (离散动作空间)\n    *   SAC, PPO (连续动作空间)\n\n2.  **运行实验**：\n    通常通过修改配置文件或直接调用 Python 脚本启动训练。您可以查看 `dopamine\u002Fcolab` 目录下的示例笔记本来了解具体的 API 调用方式。\n\n    例如，在代码中初始化一个 agent 的典型逻辑（伪代码示意）：\n    ```python\n    from dopamine.agents.jax import dqn_agent\n    # 配置 agent 参数并实例化\n    agent = dqn_agent.DQNAgent(config=config, environment=env)\n    ```\n\n3.  **查阅基准结果与文档**：\n    *   **详细文档**: [Dopamine Docs](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fdocs\u002F)\n    *   **基准测试结果**: [Baseline Results](https:\u002F\u002Fgoogle.github.io\u002Fdopamine\u002Fbaselines)\n    *   **示例代码**: [Colaboratory Notebooks](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Ftree\u002Fmaster\u002Fdopamine\u002Fcolab)\n\n> **引用说明**：如果您在研究工作中使用了 Dopamine，请引用其白皮书：\n> ```bibtex\n> @article{castro18dopamine,\n>   author    = {Pablo Samuel Castro and Subhodeep Moitra and Carles Gelada and Saurabh Kumar and Marc G. Bellemare},\n>   title     = {Dopamine: {A} {R}esearch {F}ramework for {D}eep {R}einforcement {L}earning},\n>   year      = {2018},\n>   url       = {http:\u002F\u002Farxiv.org\u002Fabs\u002F1812.06110},\n>   archivePrefix = {arXiv}\n> }\n> ```","某高校强化学习实验室的研究团队正试图验证一种改进的分布型强化学习算法，需要在 Atari 游戏环境中快速完成基准测试与对比实验。\n\n### 没有 dopamine 时\n- **环境搭建繁琐**：研究人员需手动配置 Atari 模拟器、处理依赖冲突及版本兼容问题，往往耗费数天才能跑通第一个 Demo。\n- **代码复用困难**：复现 C51 或 Rainbow 等经典算法时，需从零编写网络架构与训练循环，极易因细节疏忽导致结果无法复现。\n- **实验迭代缓慢**：每次尝试新想法（如修改奖励缩放策略）都需大幅重构代码，难以支持“大胆假设”的探索性研究。\n- **基线对比缺失**：缺乏统一、可靠的基准数据，难以判断新算法的性能提升是源于创新还是超参数偶然性。\n\n### 使用 dopamine 后\n- **开箱即用**：通过 Docker 或源码一键安装，内置适配好的 Atari 与 Mujoco 环境，几分钟内即可启动训练任务。\n- **模块化开发**：直接调用已实现的 DQN、IQN 等 JAX 版本算法作为底座，仅需修改核心逻辑文件即可验证新思路。\n- **高效原型验证**：得益于紧凑可靠的代码结构，研究人员可在几小时内完成从想法提出到初步实验验证的全流程。\n- **结果可复现**：严格遵循 Machado 等人提出的实验规范，内置标准基线结果，确保新算法性能评估客观公正。\n\ndopamine 通过提供精简且可靠的框架，将研究人员从工程泥潭中解放出来，使其能专注于强化学习算法本身的创新与突破。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fgoogle_dopamine_11bcf6ed.png","google","Google","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fgoogle_c4bedcda.png","Google ❤️ Open Source",null,"opensource@google.com","GoogleOSS","https:\u002F\u002Fopensource.google\u002F","https:\u002F\u002Fgithub.com\u002Fgoogle",[83,87,91,95,99],{"name":84,"color":85,"percentage":86},"Jupyter Notebook","#DA5B0B",82.5,{"name":88,"color":89,"percentage":90},"Python","#3572A5",17.3,{"name":92,"color":93,"percentage":94},"HTML","#e34c26",0.1,{"name":96,"color":97,"percentage":98},"Dockerfile","#384d54",0,{"name":100,"color":101,"percentage":98},"Shell","#89e051",10868,1395,"2026-04-08T03:05:06","Apache-2.0","未说明","未说明（但运行 JAX\u002FTensorFlow 深度学习算法通常建议配备 NVIDIA GPU）",{"notes":109,"python":106,"dependencies":110},"该工具主要支持 Atari 和 Mujoco 环境，安装前需先配置相应环境（Mujoco 需单独获取许可证）。官方推荐使用 Docker 容器或从源码安装以便修改代码。虽然 README 未明确指定操作系统，但此类强化学习框架通常在 Linux 环境下支持最好。建议使用虚拟环境（virtualenv）进行安装。",[111,112,113,114,115],"jax","tensorflow (legacy)","ale_py","mujoco-py","baselines",[15,13,14],[118,119,120,73,121],"rl","ml","ai","tensorflow","2026-03-27T02:49:30.150509","2026-04-10T18:54:19.614286",[125,130,135,140,145,150],{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},28002,"安装 atari-py 时出现 'Failed building wheel for atari-py' 错误怎么办？","这通常是因为缺少编译依赖。解决方法包括：\n1. 安装 cmake：运行 `pip install cmake` 或使用系统包管理器（如 Ubuntu 下 `apt-get install cmake`，macOS 下 `brew install cmake`）。\n2. 安装 gcc 和 g++ 编译器，并正确设置环境变量 CC 和 CXX，使其分别指向 gcc 和 g++ 编译器。\n3. 注意 Python 版本兼容性：该库在 Python 3.7 下表现最佳，如果在 Python 3.8 或 3.9 中失败，建议降级到 Python 3.7 环境重试。","https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Fissues\u002F11",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},28003,"加载 Rainbow Agent 检查点时提示前缀不匹配或无法加载基线结果，如何解决？","这是一个已知的检查点命名映射问题。解决方案是修改加载代码中的变量名映射：\n1. 移除权重名称末尾的 \":0\" 后缀。\n2. 将新的变量名映射回旧的名字，具体操作是将 'kernel' 重命名为 'weights'，将 'bias' 重命名为 'biases'。\n维护者已推送修复，如果仍遇到问题，请确保代码已更新到最新版本。","https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Fissues\u002F123",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},28004,"使用 colab_utils.load_baselines 加载数据时报 'merge on float64 and object columns' 错误？","这是 Pandas 版本兼容性导致的问题，已在后续代码提交中修复。如果遇到此错误，请确保您使用的是最新版本的 Dopamine 代码库。该错误通常发生在尝试合并不同数据类型（float64 和 object）的列时，官方修复方案已处理了这种数据类型不一致的情况。","https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Fissues\u002F33",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},28005,"为什么在 Cartpole 环境中 C51 算法的表现不如 DQN？","虽然在理论上分布型方法（如 C51）应优于期望型方法（如 DQN），但在简单环境（如 Cartpole）或训练帧数较少时，结果可能不稳定或相反。\n建议尝试以下调整：\n1. 更换测试环境：尝试在其他 Gym 环境（如 Lunar Lander）中测试。\n2. 增加训练量：Atari 游戏通常需要 2 亿帧才能收敛，减少帧数可能导致性能差异不明显。\n3. 注意实验的随机性，单一环境的单次运行结果可能不具备代表性。","https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Fissues\u002F148",{"id":146,"question_zh":147,"answer_zh":148,"source_url":149},28006,"如何在自定义 Agent 中打印 Keras 模型摘要（model.summary()）以验证网络结构？","要在 Dopamine 框架中打印模型摘要，需要确保在模型构建完成后、编译前访问 Keras Model 对象。\n1. 对于标准 DQN，网络定义在 `dopamine\u002Fdiscrete_domains\u002Fatari_lib.py` 的 `NatureDQNNetwork` 类中。\n2. 如果是自定义多头部网络（如 Hyperbolic DQN），需在代理初始化过程中获取网络实例。\n3. 确保在 Colab 或脚本中设置了 `debug=True` 以便查看内部状态。\n如果直接调用 `.summary()` 失败，请检查是否已成功实例化网络对象，并确认没有因作用域问题导致对象未初始化。","https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Fissues\u002F176",{"id":151,"question_zh":152,"answer_zh":153,"source_url":154},28007,"可视化 Breakout 或 Pong 游戏时，Agent 卡在角落不动（Frozen）是什么原因？","这通常是因为 Atari 环境在游戏开始前需要执行特定的 'FIRE' 动作来启动游戏，而默认的随机策略或加载的 Agent 可能没有发送该动作。\nBreakout 和 Pong 等游戏在重置后处于等待发球状态，如果 Agent 不输出 'FIRE' 动作，游戏画面就会静止。\n解决方法是在环境初始化或重置后，强制执行一次 'FIRE' 动作，或者检查 Agent 的动作空间映射是否正确包含了该动作。SpaceInvaders 能正常工作是因为其机制不同或默认动作恰好触发了游戏。","https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fdopamine\u002Fissues\u002F145",[156,161],{"id":157,"version":158,"summary_zh":159,"released_at":160},188892,"v2"," dopamine 2.0，Keras发布前版本。","2019-09-26T14:58:33",{"id":162,"version":163,"summary_zh":164,"released_at":165},188893,"v1","多巴胺第一版（稳定版）","2019-01-05T15:57:27"]