[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-luchris429--purejaxrl":3,"tool-luchris429--purejaxrl":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",155373,2,"2026-04-14T11:34:08",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":75,"owner_email":75,"owner_twitter":76,"owner_website":77,"owner_url":78,"languages":79,"stars":84,"forks":85,"last_commit_at":86,"license":87,"difficulty_score":10,"env_os":88,"env_gpu":89,"env_ram":90,"env_deps":91,"category_tags":100,"github_topics":101,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":106,"updated_at":107,"faqs":108,"releases":109},7576,"luchris429\u002Fpurejaxrl","purejaxrl","Really Fast End-to-End Jax RL Implementations","PureJaxRL 是一个基于 JAX 构建的高性能端到端强化学习（RL）实现库。它的核心目标是通过极致的速度优化，解决传统强化学习框架在训练效率上的瓶颈。与常见的 PyTorch 实现或其他混合架构的 JAX 库不同，PureJaxRL 将整个训练流程——包括智能体算法和环境模拟——完全用纯 JAX 代码编写。\n\n这种“全 JAX\"的设计带来了显著的技术优势：利用 JIT 即时编译和向量化操作，它避免了繁琐的 CPU 与 GPU 间数据传输，实现了完全同步的执行流。在单 GPU 上并行运行大量智能体时，其速度可比标准 PyTorch 实现快上千倍。这使得研究人员能够高效地并行运行数千次实验种子、快速进行超参数调优，甚至探索基于元进化的新算法发现。\n\nPureJaxRL 特别适合强化学习领域的研究人员和开发者使用。它继承了 CleanRL 的设计理念，提供高质量、单文件且易于理解的代码实现，虽不作为模块化库导入，却是学习和复现前沿算法的绝佳资源。如果你希望摆脱缓慢的训练等待，专注于算法创新与实验验证，PureJaxRL 将是一个强有力的加速引擎。","# PureJaxRL (End-to-End RL Training in Pure Jax)\n\n[\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache2.0-blue.svg\">](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002FLICENSE)\n[![Code style: black](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcode%20style-black-000000.svg)](https:\u002F\u002Fgithub.com\u002Fpsf\u002Fblack)\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\nPureJaxRL is a high-performance, end-to-end Jax Reinforcement Learning (RL) implementation. When running many agents in parallel on GPUs, our implementation is over 1000x faster than standard PyTorch RL implementations. Unlike other Jax RL implementations, we implement the *entire training pipeline in JAX*, including the environment. This allows us to get significant speedups through JIT compilation and by avoiding CPU-GPU data transfer. It also results in easier debugging because the system is fully synchronous. More importantly, this code allows you to use jax to `jit`, `vmap`, `pmap`, and `scan` entire RL training pipelines. With this, we can:\n\n- 🏃 Efficiently run tons of seeds in parallel on one GPU\n- 💻 Perform rapid hyperparameter tuning\n- 🦎 Discover new RL algorithms with meta-evolution\n\nFor more details, visit the accompanying blog post: https:\u002F\u002Fchrislu.page\u002Fblog\u002Fmeta-disco\u002F\n\nThis notebook walks through the basic usage: [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\n## CHECK OUT [RESOURCES.MD](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002FRESOURCES.md) to see github repos that are part of the Jax RL Ecosystem!\n\n## Performance\n\nWithout vectorization, our implementation runs 10x faster than [CleanRL's PyTorch baselines](https:\u002F\u002Fgithub.com\u002Fvwxyzjn\u002Fcleanrl\u002Fblob\u002Fmaster\u002Fcleanrl\u002Fppo.py), as shown in the single-thread performance plot.\n\nCartpole                   |  Minatar-Breakout\n:-------------------------:|:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_501061ef91c7.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_60d8021d7c29.png)\n\n\nWith vectorized training, we can train 2048 PPO agents in half the time it takes to train a single PyTorch PPO agent on a single GPU. The vectorized agent training allows for simultaneous training across multiple seeds, rapid hyperparameter tuning, and even evolutionary Meta-RL. \n\nVectorised Cartpole        |  Vectorised Minatar-Breakout\n:-------------------------:|:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_b35f8cdeb4f3.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_ace2abcd0c87.png)\n\n\n## Code Philosophy\n\nPureJaxRL is inspired by [CleanRL](https:\u002F\u002Fgithub.com\u002Fvwxyzjn\u002Fcleanrl), providing high-quality single-file implementations with research-friendly features. Like CleanRL, this is not a modular library and is not meant to be imported. The repository focuses on simplicity and clarity in its implementations, making it an excellent resource for researchers and practitioners.\n\n## Installation\n\nInstall dependencies using the requirements.txt file:\n\n```\npip install -r requirements.txt\n```\n\nIn order to use JAX on your accelerators, you can find more details in the [JAX documentation](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fjax#installation).\n\n## Example Usage\n\n[`examples\u002Fwalkthrough.ipynb`](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb) walks through the basic usage. [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\n[`examples\u002Fbrax_minatar.ipynb`](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fbrax_minatar.ipynb) walks through using PureJaxRL for Brax and MinAtar. [![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fbrax_minatar.ipynb)\n\n## Related Work\n\nCheck out the list of [RESOURCES](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002FRESOURCES.md) to see libraries that are closely related to PureJaxRL!\n\nThe following repositories and projects were pre-cursors to `purejaxrl`:\n\n- [Model-Free Opponent Shaping](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.01447) (ICML 2022) (https:\u002F\u002Fgithub.com\u002Fluchris429\u002FModel-Free-Opponent-Shaping)\n\n- [Discovered Policy Optimisation](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.05639) (NeurIPS 2022) (https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fdiscovered-policy-optimisation)\n\n- [Adversarial Cheap Talk](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.11030) (ICML 2023) (https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fadversarial-cheap-talk)\n\n## Citation\n\nIf you use PureJaxRL in your work, please cite the following paper:\n\n```\n@article{lu2022discovered,\n    title={Discovered policy optimisation},\n    author={Lu, Chris and Kuba, Jakub and Letcher, Alistair and Metz, Luke and Schroeder de Witt, Christian and Foerster, Jakob},\n    journal={Advances in Neural Information Processing Systems},\n    volume={35},\n    pages={16455--16468},\n    year={2022}\n}\n```\n","# PureJaxRL（纯 Jax 中的端到端强化学习训练）\n\n[\u003Cimg src=\"https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Flicense-Apache2.0-blue.svg\">](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002FLICENSE)\n[![代码风格：black](https:\u002F\u002Fimg.shields.io\u002Fbadge\u002Fcode%20style-black-000000.svg)](https:\u002F\u002Fgithub.com\u002Fpsf\u002Fblack)\n[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\nPureJaxRL 是一个高性能、端到端的 Jax 强化学习（RL）实现。在 GPU 上并行运行大量智能体时，我们的实现比标准 PyTorch RL 实现快 1000 多倍。与其他 Jax RL 实现不同，我们**完全用 JAX 实现了整个训练流水线**，包括环境部分。这使得我们能够通过 JIT 编译以及避免 CPU-GPU 数据传输来获得显著的速度提升。同时，由于系统是完全同步的，调试也更加容易。更重要的是，这段代码允许你使用 JAX 对整个 RL 训练流水线进行 `jit`、`vmap`、`pmap` 和 `scan` 操作。借助这些功能，我们可以：\n\n- 🏃 在单个 GPU 上高效并行运行大量随机种子\n- 💻 快速进行超参数调优\n- 🦎 通过元进化发现新的 RL 算法\n\n更多详情请参阅配套博客文章：https:\u002F\u002Fchrislu.page\u002Fblog\u002Fmeta-disco\u002F\n\n本笔记本将带你了解基本用法：[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\n## 请查看 [RESOURCES.MD](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002FRESOURCES.md)，了解属于 Jax RL 生态系统的其他 GitHub 仓库！\n\n## 性能\n\n在未进行向量化的情况下，我们的实现比 [CleanRL 的 PyTorch 基线](https:\u002F\u002Fgithub.com\u002Fvwxyzjn\u002Fcleanrl\u002Fblob\u002Fmaster\u002Fcleanrl\u002Fppo.py) 快 10 倍，如单线程性能图所示。\n\nCartpole                   |  Minatar-Breakout\n:-------------------------:|:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_501061ef91c7.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_60d8021d7c29.png)\n\n\n启用向量化训练后，我们可以在一半时间内训练 2048 个 PPO 智能体，而同样的时间仅够在单个 GPU 上训练一个 PyTorch PPO 智能体。向量化训练支持跨多个随机种子的同时训练、快速超参数调优，甚至可以用于进化型元强化学习。\n\n向量化 Cartpole        |  向量化 Minatar-Breakout\n:-------------------------:|:-------------------------:\n![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_b35f8cdeb4f3.png)  |  ![](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_readme_ace2abcd0c87.png)\n\n\n## 代码理念\n\nPureJaxRL 受 [CleanRL](https:\u002F\u002Fgithub.com\u002Fvwxyzjn\u002Fcleanrl) 的启发，提供了高质量的单文件实现，并具备适合研究的功能特性。与 CleanRL 类似，它并非模块化的库，也不建议直接导入使用。该仓库专注于实现的简洁性和清晰性，因此对于研究人员和从业者来说是一个极佳的资源。\n\n## 安装\n\n使用 `requirements.txt` 文件安装依赖项：\n\n```\npip install -r requirements.txt\n```\n\n要在你的加速器上使用 JAX，可以参考 [JAX 文档](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fjax#installation) 获取更多详细信息。\n\n## 示例用法\n\n[`examples\u002Fwalkthrough.ipynb`](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb) 展示了基本用法。[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\n[`examples\u002Fbrax_minatar.ipynb`](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fbrax_minatar.ipynb) 展示如何将 PureJaxRL 用于 Brax 和 MinAtar。[![在 Colab 中打开](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fbrax_minatar.ipynb)\n\n## 相关工作\n\n请查看 [RESOURCES](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002FRESOURCES.md) 列表，了解与 PureJaxRL 密切相关的库！\n\n以下仓库和项目是 `purejaxrl` 的前身：\n\n- [无模型对手塑造](https:\u002F\u002Farxiv.org\u002Fabs\u002F2205.01447)（ICML 2022）（https:\u002F\u002Fgithub.com\u002Fluchris429\u002FModel-Free-Opponent-Shaping）\n\n- [发现式策略优化](https:\u002F\u002Farxiv.org\u002Fabs\u002F2210.05639)（NeurIPS 2022）（https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fdiscovered-policy-optimisation）\n\n- [对抗性廉价交流](https:\u002F\u002Farxiv.org\u002Fabs\u002F2211.11030)（ICML 2023）（https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fadversarial-cheap-talk）\n\n## 引用\n\n如果你在工作中使用了 PureJaxRL，请引用以下论文：\n\n```\n@article{lu2022discovered,\n    title={Discovered policy optimisation},\n    author={Lu, Chris and Kuba, Jakub and Letcher, Alistair and Metz, Luke and Schroeder de Witt, Christian and Foerster, Jakob},\n    journal={Advances in Neural Information Processing Systems},\n    volume={35},\n    pages={16455--16468},\n    year={2022}\n}\n```","# PureJaxRL 快速上手指南\n\nPureJaxRL 是一个高性能、端到端的 JAX 强化学习（RL）实现。其核心特点是将**整个训练流程（包括环境）**完全用 JAX 编写，从而利用 JIT 编译和避免 CPU-GPU 数据传输，实现比传统 PyTorch 实现快 1000 倍以上的训练速度。它特别适合在单块 GPU 上并行运行大量智能体、进行超参数快速调优以及元进化研究。\n\n## 环境准备\n\n*   **系统要求**：Linux 或 macOS（Windows 支持有限，建议使用 WSL2），配备 NVIDIA GPU 以获得最佳性能。\n*   **前置依赖**：\n    *   Python 3.8+\n    *   CUDA\u002FcuDNN（如需使用 GPU 加速）\n    *   已配置好的 JAX 环境（支持 GPU\u002FTPU）\n\n> **注意**：请确保您的 JAX 版本已正确安装并能在加速器上运行。具体 JAX 安装细节请参考 [JAX 官方文档](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fjax#installation)。国内用户若遇到下载问题，可尝试配置清华源或阿里源安装基础 Python 包，但 JAX 本身的二进制包建议参照官方指引或使用国内镜像站提供的 wheel 包。\n\n## 安装步骤\n\n克隆仓库并安装依赖：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl.git\ncd purejaxrl\npip install -r requirements.txt\n```\n\n## 基本使用\n\nPureJaxRL 的设计理念是“单文件实现”，代码清晰简洁，不适合像常规库那样通过 `import` 调用模块化组件，而是直接运行脚本或参考 Notebook 示例。\n\n### 1. 运行官方示例 (推荐)\n\n最快速的上手方式是运行官方的 Colab Notebook 或本地 Jupyter Notebook，其中包含了从环境初始化到训练完成的完整流程。\n\n**在线体验 (无需本地配置):**\n点击以下链接直接在 Google Colab 中运行：\n[![Open In Colab](https:\u002F\u002Fcolab.research.google.com\u002Fassets\u002Fcolab-badge.svg)](https:\u002F\u002Fcolab.research.google.com\u002Fgithub\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fwalkthrough.ipynb)\n\n**本地运行:**\n如果您已在本地安装好环境，可以下载并运行示例 Notebook：\n\n```bash\n# 启动 Jupyter Lab 或 Notebook\njupyter lab examples\u002Fwalkthrough.ipynb\n```\n\n### 2. 核心代码逻辑简述\n\n在纯 JAX 模式下，训练循环通常包含以下关键变换操作，这也是 PureJaxRL 的核心优势：\n\n*   `jit`: 编译整个训练步骤以加速执行。\n*   `vmap`: 向量化处理，同时并行训练多个随机种子（seeds）或智能体。\n*   `pmap`: 跨多设备（多卡）并行。\n*   `scan`: 高效地展开时间步长的循环。\n\n以下是一个概念性的代码结构示例（具体变量名请参考 `examples\u002Fwalkthrough.ipynb`）：\n\n```python\nimport jax\nimport jax.numpy as jnp\nfrom purejaxrl.ppo import make_train # 假设导入对应的算法文件\n\n# 1. 配置训练参数\nconfig = {\n    \"SEED\": 0,\n    \"NUM_ENVS\": 16, # 并行环境数量\n    \"TOTAL_TIMESTEPS\": 1e5,\n    # ... 其他超参数\n}\n\n# 2. 创建训练函数\ntrain_fn = make_train(config)\n\n# 3. 使用 vmap 并行运行多个种子 (例如同时跑 100 个种子)\nrngs = jax.random.split(jax.random.PRNGKey(0), 100)\nvmapped_train = jax.vmap(train_fn)\n\n# 4. 执行训练 (JIT 会自动应用于内部逻辑)\nout = vmapped_train(rngs)\n\n# 5. 获取结果\nmetrics = out[\"metrics\"]\n```\n\n### 3. 更多示例\n\n*   **Brax 与 MinAtar 环境**: 查看 [`examples\u002Fbrax_minatar.ipynb`](https:\u002F\u002Fgithub.com\u002Fluchris429\u002Fpurejaxrl\u002Fblob\u002Fmain\u002Fexamples\u002Fbrax_minatar.ipynb) 了解如何在更复杂的环境中应用 PureJaxRL。\n\n> **提示**：PureJaxRL 的代码旨在作为研究参考和实验基石，建议直接阅读其单文件源码（如 `purejaxrl\u002Fppo.py`）以理解算法实现的每一个细节。","某顶尖 AI 实验室的研究团队正致力于通过大规模并行实验，探索强化学习算法在复杂物理仿真环境中的最优超参数组合。\n\n### 没有 purejaxrl 时\n- **训练速度瓶颈严重**：受限于 CPU 与 GPU 间频繁的数据传输，单智能体训练耗时极长，运行数千次随机种子实验需要数周时间。\n- **调试流程割裂且困难**：环境逻辑运行在 CPU 而模型在 GPU，异步执行导致错误堆栈难以追踪，复现偶发性 Bug 如同大海捞针。\n- **元进化研究受阻**：由于无法高效并行化整个训练流水线，尝试基于进化的元强化学习（Meta-RL）新算法时，计算资源消耗过大且周期不可控。\n- **超参数调优效率低**：传统的串行或浅层并行方式使得快速验证大量超参数配置成为不可能，严重拖慢论文迭代节奏。\n\n### 使用 purejaxrl 后\n- **千倍加速实现即时反馈**：借助纯 JAX 端到端实现及 JIT 编译，规避了数据搬运开销，在单卡上并行运行数千个智能体，将原本数周的实验压缩至数小时。\n- **全链路同步简化调试**：环境与训练完全同步且在 GPU 上统一执行，开发者可像调试普通 Python 代码一样轻松定位 RL 流程中的逻辑错误。\n- **赋能前沿元进化探索**：利用 `vmap` 和 `pmap` 轻松对整个训练管道进行向量化，使团队能够低成本地验证基于元进化的新型 RL 算法发现机制。\n- **暴力搜索成为常态**：极高的并行效率让研究人员可以一次性穷举海量超参数组合，迅速锁定最优策略，显著提升了科研产出密度。\n\npurejaxrl 通过将整个强化学习流水线彻底 JAX 化，把原本受限于硬件通信的漫长实验过程转变为高效的并行计算任务，极大释放了科研创新的生产力。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fluchris429_purejaxrl_501061ef.png","luchris429","Chris Lu","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fluchris429_e75518de.jpg",null,"_chris_lu_","chrislu.page","https:\u002F\u002Fgithub.com\u002Fluchris429",[80],{"name":81,"color":82,"percentage":83},"Python","#3572A5",100,1043,84,"2026-04-14T09:32:07","Apache-2.0","Linux, macOS, Windows","强烈推荐使用 GPU（NVIDIA 或 AMD）以获得最佳性能，支持在单 GPU 上并行运行数千个智能体；具体型号和显存未说明，但需安装对应后端的 JAX 版本（如 jax[cuda] 或 jax[tpu]）。","未说明（建议根据并行智能体数量配置较大内存）",{"notes":92,"python":93,"dependencies":94},"该工具将整个强化学习训练流程（包括环境）完全用 JAX 实现，以利用 JIT 编译和避免 CPU-GPU 数据传输。安装时需参考 JAX 官方文档针对特定加速器（GPU\u002FTPU）进行配置。代码设计为单文件脚本，非模块化库，不建议作为包导入使用。提供 Colab 示例以便快速上手。","未说明",[95,96,97,98,99],"jax","jaxlib","gymnax","brax","minatar",[14],[102,95,103,104,105],"deep-reinforcement-learning","reinforcement-learning","reinforcement-learning-algorithms","ppo","2026-03-27T02:49:30.150509","2026-04-15T07:13:35.698709",[],[]]