[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ikostrikov--pytorch-a2c-ppo-acktr-gail":3,"tool-ikostrikov--pytorch-a2c-ppo-acktr-gail":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",149489,2,"2026-04-10T11:32:46",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":67,"readme_en":68,"readme_zh":69,"quickstart_zh":70,"use_case_zh":71,"hero_image_url":72,"owner_login":73,"owner_name":74,"owner_avatar_url":75,"owner_bio":76,"owner_company":76,"owner_location":77,"owner_email":76,"owner_twitter":73,"owner_website":78,"owner_url":79,"languages":80,"stars":89,"forks":90,"last_commit_at":91,"license":92,"difficulty_score":10,"env_os":93,"env_gpu":94,"env_ram":93,"env_deps":95,"category_tags":104,"github_topics":105,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":126,"updated_at":127,"faqs":128,"releases":164},6203,"ikostrikov\u002Fpytorch-a2c-ppo-acktr-gail","pytorch-a2c-ppo-acktr-gail","PyTorch implementation of Advantage Actor Critic (A2C), Proximal Policy Optimization (PPO), Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation (ACKTR) and Generative Adversarial Imitation Learning (GAIL).","pytorch-a2c-ppo-acktr-gail 是一个基于 PyTorch 框架构建的强化学习算法库，旨在为研究人员和开发者提供高效、可靠的深度学习智能体训练方案。它集成了四种主流算法：优势演员 - 评论家（A2C）、近端策略优化（PPO）、基于克罗内克因子近似可扩展信任域方法（ACKTR）以及生成对抗模仿学习（GAIL）。\n\n该工具主要解决了强化学习领域算法复现难、超参数调优复杂的问题。通过直接沿用经过 OpenAI 在 Atari 游戏等场景中充分验证的模型结构与超参数设置，它大幅降低了用户从零搭建和调试模型的门槛，帮助用户更专注于算法研究与任务适配。其技术亮点在于不仅支持离散控制任务（如 Atari），还完美兼容 MuJoCo、PyBullet 及 DeepMind Control Suite 等多种连续控制环境，并特别推荐将开源的 PyBullet 作为低成本替代方案。\n\n这款软件非常适合从事人工智能研究的学者、算法工程师以及希望深入探索强化学习技术的高校学生使用。无论是进行学术对比实验，还是开发机器人控制、游戏 AI 等实际应用，pytorch-a2c-ppo-ackt","pytorch-a2c-ppo-acktr-gail 是一个基于 PyTorch 框架构建的强化学习算法库，旨在为研究人员和开发者提供高效、可靠的深度学习智能体训练方案。它集成了四种主流算法：优势演员 - 评论家（A2C）、近端策略优化（PPO）、基于克罗内克因子近似可扩展信任域方法（ACKTR）以及生成对抗模仿学习（GAIL）。\n\n该工具主要解决了强化学习领域算法复现难、超参数调优复杂的问题。通过直接沿用经过 OpenAI 在 Atari 游戏等场景中充分验证的模型结构与超参数设置，它大幅降低了用户从零搭建和调试模型的门槛，帮助用户更专注于算法研究与任务适配。其技术亮点在于不仅支持离散控制任务（如 Atari），还完美兼容 MuJoCo、PyBullet 及 DeepMind Control Suite 等多种连续控制环境，并特别推荐将开源的 PyBullet 作为低成本替代方案。\n\n这款软件非常适合从事人工智能研究的学者、算法工程师以及希望深入探索强化学习技术的高校学生使用。无论是进行学术对比实验，还是开发机器人控制、游戏 AI 等实际应用，pytorch-a2c-ppo-acktr-gail 都能提供一个坚实且灵活的代码基础，助力用户快速验证想法并产出成果。","# pytorch-a2c-ppo-acktr\n\n## Update (April 12th, 2021)\n\nPPO is great, but [Soft Actor Critic](https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.05905) can be better for many continuous control tasks. Please check out [my new RL](http:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjax-rl) repository in jax.\n\n## Please use hyper parameters from this readme. With other hyper parameters things might not work (it's RL after all)!\n\nThis is a PyTorch implementation of\n* Advantage Actor Critic (A2C), a synchronous deterministic version of [A3C](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1602.01783v1.pdf)\n* Proximal Policy Optimization [PPO](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1707.06347.pdf)\n* Scalable trust-region method for deep reinforcement learning using Kronecker-factored approximation [ACKTR](https:\u002F\u002Farxiv.org\u002Fabs\u002F1708.05144)\n* Generative Adversarial Imitation Learning [GAIL](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.03476)\n\nAlso see the OpenAI posts: [A2C\u002FACKTR](https:\u002F\u002Fblog.openai.com\u002Fbaselines-acktr-a2c\u002F) and [PPO](https:\u002F\u002Fblog.openai.com\u002Fopenai-baselines-ppo\u002F) for more information.\n\nThis implementation is inspired by the OpenAI baselines for [A2C](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\u002Ftree\u002Fmaster\u002Fbaselines\u002Fa2c), [ACKTR](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\u002Ftree\u002Fmaster\u002Fbaselines\u002Facktr) and [PPO](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\u002Ftree\u002Fmaster\u002Fbaselines\u002Fppo1). It uses the same hyper parameters and the model since they were well tuned for Atari games.\n\nPlease use this bibtex if you want to cite this repository in your publications:\n\n    @misc{pytorchrl,\n      author = {Kostrikov, Ilya},\n      title = {PyTorch Implementations of Reinforcement Learning Algorithms},\n      year = {2018},\n      publisher = {GitHub},\n      journal = {GitHub repository},\n      howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail}},\n    }\n\n## Supported (and tested) environments (via [OpenAI Gym](https:\u002F\u002Fgym.openai.com))\n* [Atari Learning Environment](https:\u002F\u002Fgithub.com\u002Fmgbellemare\u002FArcade-Learning-Environment)\n* [MuJoCo](http:\u002F\u002Fmujoco.org)\n* [PyBullet](http:\u002F\u002Fpybullet.org) (including Racecar, Minitaur and Kuka)\n* [DeepMind Control Suite](https:\u002F\u002Fgithub.com\u002Fdeepmind\u002Fdm_control) (via [dm_control2gym](https:\u002F\u002Fgithub.com\u002Fmartinseilair\u002Fdm_control2gym))\n\nI highly recommend PyBullet as a free open source alternative to MuJoCo for continuous control tasks.\n\nAll environments are operated using exactly the same Gym interface. See their documentations for a comprehensive list.\n\nTo use the DeepMind Control Suite environments, set the flag `--env-name dm.\u003Cdomain_name>.\u003Ctask_name>`, where `domain_name` and `task_name` are the name of a domain (e.g. `hopper`) and a task within that domain (e.g. `stand`) from the DeepMind Control Suite. Refer to their repo and their [tech report](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.00690) for a full list of available domains and tasks. Other than setting the task, the API for interacting with the environment is exactly the same as for all the Gym environments thanks to [dm_control2gym](https:\u002F\u002Fgithub.com\u002Fmartinseilair\u002Fdm_control2gym).\n\n## Requirements\n\n* Python 3 (it might work with Python 2, but I didn't test it)\n* [PyTorch](http:\u002F\u002Fpytorch.org\u002F)\n* [Stable baselines3](https:\u002F\u002Fgithub.com\u002FDLR-RM\u002Fstable-baselines3)\n\nIn order to install requirements, follow:\n\n```bash\n# PyTorch\nconda install pytorch torchvision -c soumith\n\n# Other requirements\npip install -r requirements.txt\n\n# Gym Atari\nconda install -c conda-forge gym-atari\n```\n\n## Contributions\n\nContributions are very welcome. If you know how to make this code better, please open an issue. If you want to submit a pull request, please open an issue first. Also see a todo list below.\n\nAlso I'm searching for volunteers to run all experiments on Atari and MuJoCo (with multiple random seeds).\n\n## Disclaimer\n\nIt's extremely difficult to reproduce results for Reinforcement Learning methods. See [\"Deep Reinforcement Learning that Matters\"](https:\u002F\u002Farxiv.org\u002Fabs\u002F1709.06560) for more information. I tried to reproduce OpenAI results as closely as possible. However, majors differences in performance can be caused even by minor differences in TensorFlow and PyTorch libraries.\n\n### TODO\n* Improve this README file. Rearrange images.\n* Improve performance of KFAC, see kfac.py for more information\n* Run evaluation for all games and algorithms\n\n## Visualization\n\nIn order to visualize the results use ```visualize.ipynb```.\n\n\n## Training\n\n### Atari\n#### A2C\n\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\"\n```\n\n#### PPO\n\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\" --algo ppo --use-gae --lr 2.5e-4 --clip-param 0.1 --value-loss-coef 0.5 --num-processes 8 --num-steps 128 --num-mini-batch 4 --log-interval 1 --use-linear-lr-decay --entropy-coef 0.01\n```\n\n#### ACKTR\n\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\" --algo acktr --num-processes 32 --num-steps 20\n```\n\n### MuJoCo\n\nPlease always try to use  ```--use-proper-time-limits``` flag. It properly handles partial trajectories (see https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fblob\u002Fmaster\u002Fmain.py#L123).\n\n#### A2C\n\n```bash\npython main.py --env-name \"Reacher-v2\" --num-env-steps 1000000\n```\n\n#### PPO\n\n```bash\npython main.py --env-name \"Reacher-v2\" --algo ppo --use-gae --log-interval 1 --num-steps 2048 --num-processes 1 --lr 3e-4 --entropy-coef 0 --value-loss-coef 0.5 --ppo-epoch 10 --num-mini-batch 32 --gamma 0.99 --gae-lambda 0.95 --num-env-steps 1000000 --use-linear-lr-decay --use-proper-time-limits\n```\n\n#### ACKTR\n\nACKTR requires some modifications to be made specifically for MuJoCo. But at the moment, I want to keep this code as unified as possible. Thus, I'm going for better ways to integrate it into the codebase.\n\n## Enjoy\n\n### Atari\n\n```bash\npython enjoy.py --load-dir trained_models\u002Fa2c --env-name \"PongNoFrameskip-v4\"\n```\n\n### MuJoCo\n\n```bash\npython enjoy.py --load-dir trained_models\u002Fppo --env-name \"Reacher-v2\"\n```\n\n## Results\n\n### A2C\n\n![BreakoutNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_dec3fa0f6cbf.png)\n\n![SeaquestNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_3397c8594ac6.png)\n\n![QbertNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_a4e73b7ba911.png)\n\n![beamriderNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_e74f31d6add8.png)\n\n### PPO\n\n\n![BreakoutNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_d934023811f3.png)\n\n![SeaquestNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_74c8ec7e6347.png)\n\n![QbertNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_5a64f3e5e56e.png)\n\n![beamriderNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_d4b1a8964d4f.png)\n\n\n### ACKTR\n\n![BreakoutNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_bdd054efeb1d.png)\n\n![SeaquestNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_1170d7f07878.png)\n\n![QbertNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_577266e94d3f.png)\n\n![beamriderNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_f11f7ee6da2b.png)\n","# pytorch-a2c-ppo-acktr\n\n## 更新（2021年4月12日）\n\nPPO 非常出色，但对于许多连续控制任务来说，[Soft Actor Critic](https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.05905) 可能表现得更好。请查看我在 jax 中的新强化学习仓库 [jax-rl](http:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjax-rl)。\n\n## 请使用此 README 中的超参数。如果使用其他超参数，可能无法正常工作（毕竟这是强化学习）！\n\n这是一个 PyTorch 实现，包含了：\n* 优势演员评论家（A2C），它是 [A3C](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1602.01783v1.pdf) 的同步确定性版本\n* 局部策略优化 [PPO](https:\u002F\u002Farxiv.org\u002Fpdf\u002F1707.06347.pdf)\n* 使用克罗内克分解近似进行深度强化学习的可扩展信任区域方法 [ACKTR](https:\u002F\u002Farxiv.org\u002Fabs\u002F1708.05144)\n* 生成对抗模仿学习 [GAIL](https:\u002F\u002Farxiv.org\u002Fabs\u002F1606.03476)\n\n更多信息请参阅 OpenAI 的相关文章：[A2C\u002FACKTR](https:\u002F\u002Fblog.openai.com\u002Fbaselines-acktr-a2c\u002F) 和 [PPO](https:\u002F\u002Fblog.openai.com\u002Fopenai-baselines-ppo\u002F)。\n\n本实现受到 OpenAI 基准库中 [A2C](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\u002Ftree\u002Fmaster\u002Fbaselines\u002Fa2c)、[ACKTR](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\u002Ftree\u002Fmaster\u002Fbaselines\u002Facktr) 和 [PPO](https:\u002F\u002Fgithub.com\u002Fopenai\u002Fbaselines\u002Ftree\u002Fmaster\u002Fbaselines\u002Fppo1) 的启发。它使用了相同的超参数和模型结构，因为这些设置在 Atari 游戏上经过了充分调优。\n\n如果您希望在出版物中引用此仓库，请使用以下 BibTeX 格式：\n\n    @misc{pytorchrl,\n      author = {Kostrikov, Ilya},\n      title = {PyTorch 实现的强化学习算法},\n      year = {2018},\n      publisher = {GitHub},\n      journal = {GitHub 仓库},\n      howpublished = {\\url{https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail}},\n    }\n\n## 支持（并已测试）的环境（通过 [OpenAI Gym](https:\u002F\u002Fgym.openai.com)）\n* [Atari 学习环境](https:\u002F\u002Fgithub.com\u002Fmgbellemare\u002FArcade-Learning-Environment)\n* [MuJoCo](http:\u002F\u002Fmujoco.org)\n* [PyBullet](http:\u002F\u002Fpybullet.org)（包括 Racecar、Minitaur 和 Kuka）\n* [DeepMind 控制套件](https:\u002F\u002Fgithub.com\u002Fdeepmind\u002Fdm_control)（通过 [dm_control2gym](https:\u002F\u002Fgithub.com\u002Fmartinseilair\u002Fdm_control2gym)）\n\n我强烈推荐 PyBullet 作为 MuJoCo 的免费开源替代方案，尤其适用于连续控制任务。\n\n所有环境都使用完全相同的 Gym 接口进行操作。完整的环境列表请参考各自的文档。\n\n要使用 DeepMind 控制套件环境，请设置标志 `--env-name dm.\u003Cdomain_name>.\u003Ctask_name>`，其中 `domain_name` 和 `task_name` 分别是 DeepMind 控制套件中的领域名称（例如 `hopper`）和该领域的具体任务名称（例如 `stand`）。完整可用的领域和任务列表请参考其代码库及技术报告 [arXiv:1801.00690](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.00690)。除了指定任务外，与环境交互的 API 与其他 Gym 环境完全相同，这得益于 [dm_control2gym](https:\u002F\u002Fgithub.com\u002Fmartinseilair\u002Fdm_control2gym)。\n\n## 要求\n\n* Python 3（虽然也可能支持 Python 2，但我并未测试过）\n* [PyTorch](http:\u002F\u002Fpytorch.org\u002F)\n* [Stable baselines3](https:\u002F\u002Fgithub.com\u002FDLR-RM\u002Fstable-baselines3)\n\n安装依赖项的步骤如下：\n\n```bash\n# PyTorch\nconda install pytorch torchvision -c soumith\n\n# 其他依赖\npip install -r requirements.txt\n\n# Gym Atari\nconda install -c conda-forge gym-atari\n```\n\n## 贡献\n\n非常欢迎贡献！如果您知道如何改进这段代码，请提交一个问题。如果您想提交拉取请求，请先创建一个问题。另请参阅下面的待办事项清单。\n\n此外，我正在寻找志愿者来运行 Atari 和 MuJoCo 上的所有实验（使用多个随机种子）。\n\n## 免责声明\n\n重现强化学习方法的结果极其困难。更多信息请参阅 [\"Deep Reinforcement Learning that Matters\"](https:\u002F\u002Farxiv.org\u002Fabs\u002F1709.06560)。我已尽力尽可能接近地复现 OpenAI 的结果。然而，即使是 TensorFlow 和 PyTorch 库之间的细微差异，也可能导致性能上的显著差异。\n\n### 待办事项\n* 改进此 README 文件，重新排版图片。\n* 提高性能 KFAC，更多信息请参见 kfac.py。\n* 对所有游戏和算法进行评估。\n\n## 可视化\n要可视化结果，请使用 `visualize.ipynb`。\n\n## 训练\n\n### Atari\n#### A2C\n\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\"\n```\n\n#### PPO\n\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\" --algo ppo --use-gae --lr 2.5e-4 --clip-param 0.1 --value-loss-coef 0.5 --num-processes 8 --num-steps 128 --num-mini-batch 4 --log-interval 1 --use-linear-lr-decay --entropy-coef 0.01\n```\n\n#### ACKTR\n\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\" --algo acktr --num-processes 32 --num-steps 20\n```\n\n### MuJoCo\n请务必始终使用 `--use-proper-time-limits` 标志。它可以正确处理不完整轨迹（参见 https:\u002F\u002Fgithub.com\u002Fsfujim\u002FTD3\u002Fblob\u002Fmaster\u002Fmain.py#L123）。\n\n#### A2C\n\n```bash\npython main.py --env-name \"Reacher-v2\" --num-env-steps 1000000\n```\n\n#### PPO\n\n```bash\npython main.py --env-name \"Reacher-v2\" --algo ppo --use-gae --log-interval 1 --num-steps 2048 --num-processes 1 --lr 3e-4 --entropy-coef 0 --value-loss-coef 0.5 --ppo-epoch 10 --num-mini-batch 32 --gamma 0.99 --gae-lambda 0.95 --num-env-steps 1000000 --use-linear-lr-decay --use-proper-time-limits\n```\n\n#### ACKTR\nACKTR 需要针对 MuJoCo 进行一些特定修改。但目前，我希望保持代码尽可能统一，因此我正在寻找更好的方式将其集成到代码库中。\n\n## 享受\n### Atari\n\n```bash\npython enjoy.py --load-dir trained_models\u002Fa2c --env-name \"PongNoFrameskip-v4\"\n```\n\n### MuJoCo\n\n```bash\npython enjoy.py --load-dir trained_models\u002Fppo --env-name \"Reacher-v2\"\n```\n\n## 结果\n### A2C\n\n![BreakoutNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_dec3fa0f6cbf.png)\n\n![SeaquestNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_3397c8594ac6.png)\n\n![QbertNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_a4e73b7ba911.png)\n\n![beamriderNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_e74f31d6add8.png)\n\n### PPO\n\n\n![BreakoutNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_d934023811f3.png)\n\n![SeaquestNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_74c8ec7e6347.png)\n\n![QbertNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_5a64f3e5e56e.png)\n\n![beamriderNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_d4b1a8964d4f.png)\n\n\n### ACKTR\n\n![BreakoutNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_bdd054efeb1d.png)\n\n![SeaquestNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_1170d7f07878.png)\n\n![QbertNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_577266e94d3f.png)\n\n![beamriderNoFrameskip-v4](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_readme_f11f7ee6da2b.png)","# pytorch-a2c-ppo-acktr-gail 快速上手指南\n\n本工具是基于 PyTorch 实现的强化学习算法库，包含 A2C、PPO、ACKTR 和 GAIL。它复用了 OpenAI Baselines 中针对 Atari 游戏调优过的超参数和模型结构。\n\n## 环境准备\n\n在开始之前，请确保您的系统满足以下要求：\n\n*   **操作系统**: Linux 或 macOS (Windows 需额外配置 Gym Atari)\n*   **Python**: Python 3.x\n*   **核心依赖**:\n    *   PyTorch\n    *   Stable Baselines3\n    *   OpenAI Gym (及对应的环境包，如 `gym-atari`, `mujoco-py` 等)\n\n> **注意**：强化学习对超参数非常敏感，请务必使用本文档提供的默认超参数进行训练，否则可能无法收敛。\n\n## 安装步骤\n\n推荐使用 `conda` 管理环境。以下是标准安装流程（国内用户可使用清华或阿里镜像加速）：\n\n1.  **创建并激活虚拟环境**（可选但推荐）：\n    ```bash\n    conda create -n rl_env python=3.8\n    conda activate rl_env\n    ```\n\n2.  **安装 PyTorch**：\n    *   官方源：\n        ```bash\n        conda install pytorch torchvision -c soumith\n        ```\n    *   **国内加速（推荐）**：使用清华镜像源\n        ```bash\n        conda install pytorch torchvision -c https:\u002F\u002Fmirrors.tuna.tsinghua.edu.cn\u002Fanaconda\u002Fcloud\u002Fsoumith\u002F\n        ```\n        *(注：如果上述命令失效，请访问 PyTorch 官网获取对应 CUDA 版本的国内镜像安装命令)*\n\n3.  **安装其他依赖**：\n    ```bash\n    pip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n    ```\n\n4.  **安装 Gym Atari 环境**：\n    ```bash\n    conda install -c conda-forge gym-atari\n    ```\n    *(如需使用 MuJoCo 或 PyBullet，请参照其官方文档单独安装对应引擎)*\n\n## 基本使用\n\n该库通过 `main.py` 进行训练，通过 `enjoy.py` 进行模型演示。以下是最简单的运行示例。\n\n### 1. 训练模型 (Training)\n\n#### 示例 A: 在 Atari 游戏 \"Pong\" 上训练 A2C 算法\n这是最基础的用法，直接使用默认超参数：\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\"\n```\n\n#### 示例 B: 在 Atari 游戏 \"Pong\" 上训练 PPO 算法\nPPO 需要指定更多超参数以保持性能：\n```bash\npython main.py --env-name \"PongNoFrameskip-v4\" --algo ppo --use-gae --lr 2.5e-4 --clip-param 0.1 --value-loss-coef 0.5 --num-processes 8 --num-steps 128 --num-mini-batch 4 --log-interval 1 --use-linear-lr-decay --entropy-coef 0.01\n```\n\n#### 示例 C: 在 MuJoCo \"Reacher\" 任务上训练 PPO\n对于连续控制任务，建议添加 `--use-proper-time-limits` 标志：\n```bash\npython main.py --env-name \"Reacher-v2\" --algo ppo --use-gae --log-interval 1 --num-steps 2048 --num-processes 1 --lr 3e-4 --entropy-coef 0 --value-loss-coef 0.5 --ppo-epoch 10 --num-mini-batch 32 --gamma 0.99 --gae-lambda 0.95 --num-env-steps 1000000 --use-linear-lr-decay --use-proper-time-limits\n```\n\n### 2. 演示模型 (Enjoy)\n\n训练完成后，可以使用预训练模型或您自己的模型进行演示。\n\n#### 演示 Atari 模型\n```bash\npython enjoy.py --load-dir trained_models\u002Fa2c --env-name \"PongNoFrameskip-v4\"\n```\n\n#### 演示 MuJoCo 模型\n```bash\npython enjoy.py --load-dir trained_models\u002Fppo --env-name \"Reacher-v2\"\n```\n\n### 3. 结果可视化\n\n训练日志生成后，可以使用提供的 Jupyter Notebook 查看学习曲线：\n```bash\njupyter notebook visualize.ipynb\n```","某机器人研发团队正在为四足机器狗开发复杂地形下的自适应行走控制策略，需要让机器人在无需人工规则干预的情况下学会平衡与避障。\n\n### 没有 pytorch-a2c-ppo-acktr-gail 时\n- **算法复现门槛高**：团队需从零编写 A2C 或 PPO 等核心强化学习算法，极易因数学公式转化代码时的细微偏差导致训练不收敛。\n- **超参数调优困难**：缺乏经过 Atari 和 MuJoCo 环境验证的基准超参数配置，研究人员需耗费数周时间盲目试错，难以区分是算法问题还是参数问题。\n- **模仿学习实现缺失**：若想通过专家演示数据加速训练（即 GAIL 算法），需自行构建生成对抗网络架构，开发周期长且稳定性差。\n- **环境适配繁琐**：对接 PyBullet 或 DeepMind Control Suite 等不同物理仿真器时，需重复编写大量接口适配代码，分散了核心算法精力。\n\n### 使用 pytorch-a2c-ppo-acktr-gail 后\n- **开箱即用的高质量基线**：直接调用内置的 PPO 和 ACKTR 算法实现，基于官方调优参数启动训练，首周即可观察到机器狗学会基本步态。\n- **多算法灵活切换**：在同一代码框架下轻松对比 A2C、PPO 及 GAIL 的表现，快速确定当前地形任务下最优的强化学习策略。\n- **高效的模仿学习集成**：利用内置 GAIL 模块导入专家行走数据，显著减少机器狗在随机探索阶段的摔倒次数，训练效率提升 50% 以上。\n- **统一的环境交互接口**：通过标准的 Gym 接口无缝切换 PyBullet 等仿真环境，无需修改核心逻辑即可验证算法在不同物理引擎下的泛化能力。\n\npytorch-a2c-ppo-acktr-gail 通过提供经工业界验证的算法实现与标准化接口，将机器人控制策略的研发重心从“造轮子”转移到了“解决实际问题”上。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_pytorch-a2c-ppo-acktr-gail_dec3fa0f.png","ikostrikov","Ilya Kostrikov","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fikostrikov_ca9af6c5.jpg",null,"Berkeley","www.kostrikov.xyz","https:\u002F\u002Fgithub.com\u002Fikostrikov",[81,85],{"name":82,"color":83,"percentage":84},"Python","#3572A5",72.1,{"name":86,"color":87,"percentage":88},"Jupyter Notebook","#DA5B0B",27.9,3890,843,"2026-04-10T06:16:58","MIT","未说明","未说明 (依赖 PyTorch，通常深度学习训练推荐 NVIDIA GPU，但 README 未明确指定型号或显存)",{"notes":96,"python":97,"dependencies":98},"该工具支持 Atari、MuJoCo、PyBullet 和 DeepMind Control Suite 环境。推荐使用 PyBullet 作为 MuJoCo 的免费开源替代方案。若使用 DeepMind Control Suite，需安装 dm_control2gym 并通过特定标志 '--env-name dm.\u003Cdomain_name>.\u003Ctask_name>' 调用。强化学习结果复现难度较大，性能可能受库版本细微差异影响，建议严格使用 README 中提供的超参数。","3.x (README 指出可能兼容 Python 2 但未测试)",[99,100,101,102,103],"PyTorch","torchvision","Stable baselines3","gym","gym-atari",[15,14],[106,107,108,109,110,111,112,113,114,115,116,117,118,119,120,121,122,123,124,125],"pytorch","reinforcement-learning","deep-learning","deep-reinforcement-learning","actor-critic","advantage-actor-critic","a2c","ppo","proximal-policy-optimization","acktr","second-order","hessian","natural-gradients","atari","mujoco","roboschool","continuous-control","kfac","kronecker-factored-approximation","ale","2026-03-27T02:49:30.150509","2026-04-10T20:36:04.055797",[129,134,139,144,149,154,159],{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},28098,"为什么使用多进程（--num-processes > 1）训练时速度反而变慢且 CPU 利用率低？","这是因为当进程数大于 1 时，代码使用了 OpenAI Baselines 的 vec env 包装器，该包装器在每一步之后都尝试进行同步，导致了巨大的开销。特别是在步数较大时，这种频繁的同步会显著降低性能。对于单进程，它只使用单个线程，因此没有这个开销。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F138",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},28099,"训练过程中奖励突然降至 0 随后又回升，这是什么原因导致的？","这可能与使用了 `--cuda-deterministic` 标志有关。有用户反馈，禁用该标志（即不使用 `--cuda-deterministic`）后，训练结果变得更好且更稳定。确定性模式可能会引发一些性能问题或不稳定的行为。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F159",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},28100,"在 Atari 游戏（如 Breakout 或 Boxing）上使用默认参数无法学习怎么办？","这通常是由于环境依赖版本冲突或预处理代码变更引起的。建议创建一个全新的干净 Conda 环境，并从头安装所有依赖包。确保 Gym 和 Baselines 库是最新版本，或者回退到已知稳定的 Baselines 提交版本。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F16",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},28101,"训练结果（平均奖励）远低于预期或文档中的结果，该如何排查？","首先尝试在一个新的 Python 环境中从头安装所有依赖。确保 Gym 已更新，并且使用的是最新版本的 Baselines。有时旧的缓存或冲突的包版本会导致性能大幅下降。如果问题依旧，请检查超参数设置是否与官方推荐一致。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F127",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},28102,"运行 PPO 时出现 `'>' not supported between instances of 'float' and 'NoneType'` 错误如何解决？","这是一个已知的 Visdom 服务器初始化相关的问题，根源在于 Visdom 库本身（参考 facebookresearch\u002Fvisdom#467）。虽然会出现此报错信息，但算法通常仍能正常工作并返回有效的策略。你可以忽略此消息，或者在 Visdom 仓库中跟踪该问题的修复进度。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F122",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},28103,"连续动作空间（Continuous Action Space）的输出范围未被限制，导致动作值过大怎么办？","在某些配置下（特别是 batch size 大于样本数时），动作值可能不会立即饱和。建议保持 `drop_last = False` 的设置。如果问题依然存在，可能需要检查策略网络的输出层是否添加了适当的激活函数（如 Tanh）来将输出映射到 [-1, 1] 区间，或者在环境层面进行动作裁剪。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F20",{"id":160,"question_zh":161,"answer_zh":162,"source_url":163},28104,"storage.py 中的 compute_returns 函数看起来先减去 value_preds 后又加回，这是在做什么？","这是计算广义优势估计（GAE）的标准步骤。代码先计算 TD error (delta)，其中减去了当前价值预测；然后基于 delta 累积计算 GAE；最后将 GAE 加回当前价值预测得到最终的 Returns。这样做是为了分离优势函数（Advantage）和价值函数（Value），后续在 PPO 算法中会利用这些值来计算策略梯度。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fpytorch-a2c-ppo-acktr-gail\u002Fissues\u002F110",[]]