[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-ikostrikov--jaxrl":3,"tool-ikostrikov--jaxrl":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",159636,2,"2026-04-17T23:33:34",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[52,13,15,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":32,"last_commit_at":59,"category_tags":60,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":75,"owner_location":76,"owner_email":75,"owner_twitter":72,"owner_website":77,"owner_url":78,"languages":79,"stars":96,"forks":97,"last_commit_at":98,"license":99,"difficulty_score":100,"env_os":101,"env_gpu":102,"env_ram":103,"env_deps":104,"category_tags":113,"github_topics":114,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":126,"updated_at":127,"faqs":128,"releases":159},8842,"ikostrikov\u002Fjaxrl","jaxrl","JAX (Flax) implementation of algorithms for Deep Reinforcement Learning with continuous action spaces. ","jaxrl 是一个基于 JAX 和 Flax 框架构建的开源库，专注于提供连续动作空间下的深度强化学习算法实现。它旨在解决研究人员在复现前沿算法时面临的代码复杂、依赖繁琐等痛点，通过简洁、干净的代码结构，让用户能快速搭建实验环境并开展新研究。\n\n该工具主要面向 AI 研究人员和开发者，特别是那些希望利用 JAX 生态高性能特性进行强化学习探索的用户。jaxrl 内置了多种经典与前沿算法，包括支持可学习温度的软演员 - 评论家（SAC）、优势加权演员 - 评论家（AWAC）、结合裁剪双 Q 学习的深度确定性策略梯度（DDPG），以及随机集成双 Q 学习（REDQ）等。其独特的技术亮点在于充分利用 JAX 的函数式编程范式，不仅代码逻辑清晰易读，还具备极高的运行效率，非常适合用于算法验证和原型开发。\n\n需要注意的是，jaxrl 的定位是作为科研探索的基石，而非官方基准测试的标准实现，因此作者建议在进行严格的性能对比时仍参考原始论文代码。对于想要深入理解强化学习算法内部机制，或希望在现代化深度学习框架上构建自定义智能体的研究者来说，jaxrl 是一个高效且友好的起点。","[![DOI](https:\u002F\u002Fzenodo.org\u002Fbadge\u002F330059679.svg)](https:\u002F\u002Fzenodo.org\u002Fbadge\u002Flatestdoi\u002F330059679)\n\n# JAX (Flax) RL\n\nThis repository contains JAX (Flax) implementations of Reinforcement Learning algorithms:\n\n* [Soft Actor Critic with learnable temperature](https:\u002F\u002Farxiv.org\u002Fabs\u002F1812.05905)\n* [Advantage Weighted Actor Critic](https:\u002F\u002Farxiv.org\u002Fabs\u002F2006.09359)\n* [Image Augmentation Is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.13649)(only [K=1, M=1])\n* [Deep Deterministic Policy Gradient](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971) with [Clipped Double Q-Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477)\n* [Randomized Ensembled Double Q-Learning: Learning Fast Without a Model](https:\u002F\u002Farxiv.org\u002Fabs\u002F2101.05982)\n* Behavioral Cloning\n\nThe goal of this repository is to provide simple and clean implementations to build research on top of. **Please do not use this repository for baseline results and use the original implementations instead ([SAC](https:\u002F\u002Fgithub.com\u002Frail-berkeley\u002Fsoftlearning\u002F), [AWAC](https:\u002F\u002Fgithub.com\u002Fvitchyr\u002Frlkit\u002Ftree\u002Fmaster\u002Fexamples\u002Fawac), [DrQ](https:\u002F\u002Fgithub.com\u002Fdenisyarats\u002Fdrq)).**\n\nIf you use JAXRL in your work, please cite this repository in publications:\n```\n@misc{jaxrl,\n  author = {Kostrikov, Ilya},\n  doi = {10.5281\u002Fzenodo.5535154},\n  month = {10},\n  title = {{JAXRL: Implementations of Reinforcement Learning algorithms in JAX}},\n  url = {https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl},\n  year = {2021}\n}\n```\n\nYou can find an updated version of this repository [here](https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl2).\n\n# Changelog\n\n## January 10th, 2022\n- Added an implementation of [Randomized Ensembled Double Q-Learning: Learning Fast Without a Model](https:\u002F\u002Farxiv.org\u002Fabs\u002F2101.05982)\n\n## July 20th, 2021\n- Added an implementation of [Deep Deterministic Policy Gradient](https:\u002F\u002Farxiv.org\u002Fabs\u002F1509.02971) with [Clipped Double Q-Learning](https:\u002F\u002Farxiv.org\u002Fabs\u002F1802.09477)\n\n## May 19th, 2021\n- Added an implementation of [Soft Actor Critic v1](https:\u002F\u002Farxiv.org\u002Fabs\u002F1801.01290)\n\n## April 29th, 2021\n- Added an implementation of data augmentation from [Image Augmentation Is All You Need](https:\u002F\u002Farxiv.org\u002Fabs\u002F2004.13649)\n\n# Installation\n\nPrerequisites:\n* Python 3.8-3.9 (not yet 3.10)\n* [Poetry](https:\u002F\u002Fpython-poetry.org)\n* patchelf\n\nSuggested build environment:\n```bash\n# general build dependencies\nsudo apt-get update; sudo apt-get install make build-essential libssl-dev zlib1g-dev \\\nlibbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \\\nlibncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev\n# mujoco dependencies\napt-get -y install wget unzip software-properties-common \\\n    libgl1-mesa-dev \\\n    libgl1-mesa-glx \\\n    libglew-dev \\\n    libosmesa6-dev patchelf\n# mujoco installation\ncurl -OL https:\u002F\u002Fmujoco.org\u002Fdownload\u002Fmujoco210-linux-x86_64.tar.gz\nmkdir ~\u002F.mujoco\ntar -zxf mujoco210-linux-x86_64.tar.gz -C ~\u002F.mujoco\nrm mujoco210-linux-x86_64.tar.gz\n```\n\nTo install, run\n\n```bash\npoetry install\n# For GPU support run\npip install \"jax[cuda]==0.3.10\" -f https:\u002F\u002Fstorage.googleapis.com\u002Fjax-releases\u002Fjax_cuda_releases.html\n```\n\nFor further instructions on running this code on GPU, please follow instructions from [the official repository](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fjax).\n\nFor MuJoCo inslattion, you may need to add the following lines in the `.bashrc`:\n\n```bash\nexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\u002Fhome\u002Fcosta\u002F.mujoco\u002Fmujoco210\u002Fbin\nexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\u002Fusr\u002Flib\u002Fnvidia\n```\n\n# Development \n\nIf you want to modify the code, install following the instructions above.\n\n\n# [Examples](examples\u002F)\n\n# Troubleshooting\n\nIf you experience out-of-memory errors, especially with enabled video saving, please consider reading [docs](https:\u002F\u002Fjax.readthedocs.io\u002Fen\u002Flatest\u002Fgpu_memory_allocation.html#gpu-memory-allocation) on JAX GPU memory allocation. Also, you can try running with the following environment variable:\n\n```bash\nXLA_PYTHON_CLIENT_MEM_FRACTION=0.80 python ...\n```\n\nIf you run your code on a remote machine and want to save videos for DeepMind Control Suite, please use EGL for rendering:\n```bash\nMUJOCO_GL=egl python train.py --env_name=cheetah-run --save_dir=.\u002Ftmp\u002F --save_video\n```\n\n# Tensorboard\n\nLaunch tensorboard to see training and evaluation logs\n\n```bash\ntensorboard --logdir=.\u002Ftmp\u002F\n```\n\n# Results\n\n## Continous control from states\n\n![gym](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_jaxrl_readme_2fc09c5c826a.png)\n\n## Continous control from pixels\n\n![gym](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_jaxrl_readme_30ec6c4d3c6b.png)\n\n\n# Docker\n\n## Build\n\nCopy your MuJoCo key to .\u002Fvendor\n\n```bash\ncd remote\ndocker build -t ikostrikov\u002Fjaxrl . -f Dockerfile \n```\n\n## Test\n```bash\n sudo docker run -v \u003Cexamples-dir>:\u002Fjaxrl\u002F ikostrikov\u002Fjaxrl:latest python \u002Fjaxrl\u002Ftrain.py --env_name=HalfCheetah-v2 --save_dir=\u002Fjaxrl\u002Ftmp\u002F\n\n# On GPU\n sudo docker run --rm --gpus all -v \u003Cexamples-dir>:\u002Fjaxrl\u002F --gpus=all ikostrikov\u002Fjaxrl:latest python \u002Fjaxrl\u002Ftrain.py --env_name=HalfCheetah-v2 --save_dir=\u002Fjaxrl\u002Ftmp\u002F\n```\n\n# Contributing\n\nWhen contributing to this repository, please first discuss the change you wish to make via issue. If you are not familiar with pull requests, please read [this documentation](https:\u002F\u002Fopensource.com\u002Farticle\u002F19\u002F7\u002Fcreate-pull-request-github).\n\n# Acknowledgements \n\nThanks to [@evgenii-nikishin](https:\u002F\u002Fgithub.com\u002Fevgenii-nikishin) for helping with JAX. And [@dibyaghosh](https:\u002F\u002Fgithub.com\u002Fdibyaghosh) for helping with vmapped ensembles.\n","[![DOI](https:\u002F\u002Fzenodo.org\u002Fbadge\u002F330059679.svg)](https:\u002F\u002Fzenodo.org\u002Fbadge\u002Flatestdoi\u002F330059679)\n\n# JAX (Flax) RL\n\n本仓库包含使用 JAX (Flax) 实现的强化学习算法：\n\n* 可学习温度参数的软演员-评论家算法（SAC）[1812.05905]\n* 优势加权演员-评论家算法（AWAC）[2006.09359]\n* 图像增强就是全部需求 [2004.13649]（仅支持 K=1, M=1）\n* 带有剪裁双 Q 学习的深度确定性策略梯度（DDPG）[1509.02971]，结合剪裁双 Q 学习 [1802.09477]\n* 随机集成双 Q 学习：无需模型即可快速学习 [2101.05982]\n* 行为克隆\n\n本仓库的目标是提供简单、清晰的实现，以便在此基础上开展研究。**请勿将本仓库用于基线实验，请改用原始实现（SAC：[softlearning](https:\u002F\u002Fgithub.com\u002Frail-berkeley\u002Fsoftlearning\u002F)，AWAC：[rlkit](https:\u002F\u002Fgithub.com\u002Fvitchyr\u002Frlkit\u002Ftree\u002Fmaster\u002Fexamples\u002Fawac)，DrQ：[drq](https:\u002F\u002Fgithub.com\u002Fdenisyarats\u002Fdrq))。**\n\n如果您在工作中使用了 JAXRL，请在出版物中引用本仓库：\n```\n@misc{jaxrl,\n  author = {Kostrikov, Ilya},\n  doi = {10.5281\u002Fzenodo.5535154},\n  month = {10},\n  title = {{JAXRL: Implementations of Reinforcement Learning algorithms in JAX}},\n  url = {https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl},\n  year = {2021}\n}\n```\n\n您可以在 [这里](https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl2) 找到本仓库的更新版本。\n\n# 更改记录\n\n## 2022年1月10日\n- 添加了随机集成双 Q 学习：无需模型即可快速学习 [2101.05982] 的实现\n\n## 2021年7月20日\n- 添加了带有剪裁双 Q 学习的深度确定性策略梯度（DDPG）[1509.02971] 的实现\n\n## 2021年5月19日\n- 添加了软演员-评论家 v1 [1801.01290] 的实现\n\n## 2021年4月29日\n- 添加了来自“图像增强就是全部需求” [2004.13649] 的数据增强实现\n\n# 安装\n\n先决条件：\n* Python 3.8–3.9（暂不支持 3.10）\n* [Poetry](https:\u002F\u002Fpython-poetry.org)\n* patchelf\n\n建议的构建环境：\n```bash\n# 通用构建依赖\nsudo apt-get update; sudo apt-get install make build-essential libssl-dev zlib1g-dev \\\nlibbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \\\nlibncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev\n# Mujoco 依赖\napt-get -y install wget unzip software-properties-common \\\n    libgl1-mesa-dev \\\n    libgl1-mesa-glx \\\n    libglew-dev \\\n    libosmesa6-dev patchelf\n# Mujoco 安装\ncurl -OL https:\u002F\u002Fmujoco.org\u002Fdownload\u002Fmujoco210-linux-x86_64.tar.gz\nmkdir ~\u002F.mujoco\ntar -zxf mujoco210-linux-x86_64.tar.gz -C ~\u002F.mujoco\nrm mujoco210-linux-x86_64.tar.gz\n```\n\n安装步骤如下：\n```bash\npoetry install\n# 若需 GPU 支持，请运行\npip install \"jax[cuda]==0.3.10\" -f https:\u002F\u002Fstorage.googleapis.com\u002Fjax-releases\u002Fjax_cuda_releases.html\n```\n\n如需进一步了解如何在 GPU 上运行代码，请参考 [官方仓库](https:\u002F\u002Fgithub.com\u002Fgoogle\u002Fjax) 中的相关说明。\n\n对于 MuJoCo 的安装，您可能需要在 `.bashrc` 文件中添加以下内容：\n```bash\nexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\u002Fhome\u002Fcosta\u002F.mujoco\u002Fmujoco210\u002Fbin\nexport LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\u002Fusr\u002Flib\u002Fnvidia\n```\n\n# 开发\n\n如果您希望修改代码，请按照上述说明进行安装。\n\n# [示例](examples\u002F)\n\n# 故障排除\n\n如果遇到内存不足错误，尤其是在启用视频保存功能时，请参阅 JAX 关于 GPU 内存分配的文档：[docs](https:\u002F\u002Fjax.readthedocs.io\u002Fen\u002Flatest\u002Fgpu_memory_allocation.html#gpu-memory-allocation)。此外，您可以尝试使用以下环境变量运行程序：\n```bash\nXLA_PYTHON_CLIENT_MEM_FRACTION=0.80 python ...\n```\n\n如果您在远程机器上运行代码，并希望为 DeepMind Control Suite 保存视频，请使用 EGL 进行渲染：\n```bash\nMUJOCO_GL=egl python train.py --env_name=cheetah-run --save_dir=.\u002Ftmp\u002F --save_video\n```\n\n# TensorBoard\n\n启动 TensorBoard 查看训练和评估日志：\n```bash\ntensorboard --logdir=.\u002Ftmp\u002F\n```\n\n# 结果\n\n## 基于状态的连续控制\n\n![gym](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_jaxrl_readme_2fc09c5c826a.png)\n\n## 基于像素的连续控制\n\n![gym](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_jaxrl_readme_30ec6c4d3c6b.png)\n\n\n# Docker\n\n## 构建\n\n将您的 MuJoCo 密钥复制到 .\u002Fvendor 目录下：\n```bash\ncd remote\ndocker build -t ikostrikov\u002Fjaxrl . -f Dockerfile \n```\n\n## 测试\n```bash\nsudo docker run -v \u003Cexamples-dir>:\u002Fjaxrl\u002F ikostrikov\u002Fjaxrl:latest python \u002Fjaxrl\u002Ftrain.py --env_name=HalfCheetah-v2 --save_dir=\u002Fjaxrl\u002Ftmp\u002F\n\n# 使用 GPU\nsudo docker run --rm --gpus all -v \u003Cexamples-dir>:\u002Fjaxrl\u002F --gpus=all ikostrikov\u002Fjaxrl:latest python \u002Fjaxrl\u002Ftrain.py --env_name=HalfCheetah-v2 --save_dir=\u002Fjaxrl\u002Ftmp\u002F\n```\n\n# 贡献\n\n在向本仓库贡献代码之前，请先通过 issue 讨论您计划进行的更改。如果您不熟悉 pull request，请阅读 [这篇文档](https:\u002F\u002Fopensource.com\u002Farticle\u002F19\u002F7\u002Fcreate-pull-request-github)。\n\n# 致谢\n\n感谢 [@evgenii-nikishin](https:\u002F\u002Fgithub.com\u002Fevgenii-nikishin) 在 JAX 方面的帮助。同时也感谢 [@dibyaghosh](https:\u002F\u002Fgithub.com\u002Fdibyaghosh) 在 vmapped ensembles 方面的支持。","# JAXRL 快速上手指南\n\nJAXRL 是一个基于 JAX (Flax) 的强化学习算法库，提供了简洁、干净的实现，适合用于科研和二次开发。支持 SAC、AWAC、DrQ、DDPG、REDQ 及行为克隆等主流算法。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu)\n- **Python 版本**: 3.8 或 3.9 (暂不支持 3.10+)\n- **硬件**: 支持 CUDA 的 NVIDIA GPU (可选，用于加速训练)\n\n### 前置依赖\n在安装前，请确保系统已安装以下基础工具和 MuJoCo 依赖：\n\n```bash\n# 更新源并安装通用构建依赖\nsudo apt-get update\nsudo apt-get install make build-essential libssl-dev zlib1g-dev \\\nlibbz2-dev libreadline-dev libsqlite3-dev wget curl llvm \\\nlibncursesw5-dev xz-utils tk-dev libxml2-dev libxmlsec1-dev libffi-dev liblzma-dev\n\n# 安装 MuJoCo 图形渲染依赖\napt-get -y install wget unzip software-properties-common \\\n    libgl1-mesa-dev \\\n    libgl1-mesa-glx \\\n    libglew-dev \\\n    libosmesa6-dev patchelf\n\n# 安装 Poetry (Python 包管理工具)\ncurl -sSL https:\u002F\u002Finstall.python-poetry.org | python3 -\n```\n\n### MuJoCo 安装\n下载并配置 MuJoCo 210：\n\n```bash\n# 下载 MuJoCo\ncurl -OL https:\u002F\u002Fmujoco.org\u002Fdownload\u002Fmujoco210-linux-x86_64.tar.gz\nmkdir -p ~\u002F.mujoco\ntar -zxf mujoco210-linux-x86_64.tar.gz -C ~\u002F.mujoco\nrm mujoco210-linux-x86_64.tar.gz\n\n# 配置环境变量 (添加到 ~\u002F.bashrc 末尾)\necho 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\u002Fhome\u002F$USER\u002F.mujoco\u002Fmujoco210\u002Fbin' >> ~\u002F.bashrc\necho 'export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:\u002Fusr\u002Flib\u002Fnvidia' >> ~\u002F.bashrc\nsource ~\u002F.bashrc\n```\n*注意：请将上述命令中的 `\u002Fhome\u002F$USER\u002F` 替换为你实际的用户目录路径，并将你的 MuJoCo License Key (`mjkey.txt`) 放入 `~\u002F.mujoco\u002F` 目录下。*\n\n## 安装步骤\n\n1. **克隆仓库**\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl.git\n   cd jaxrl\n   ```\n\n2. **使用 Poetry 安装项目依赖**\n   ```bash\n   poetry install\n   ```\n\n3. **安装 GPU 支持 (可选)**\n   如果需要利用 GPU 加速，请在激活虚拟环境后运行以下命令安装特定版本的 JAX：\n   ```bash\n   poetry run pip install \"jax[cuda]==0.3.10\" -f https:\u002F\u002Fstorage.googleapis.com\u002Fjax-releases\u002Fjax_cuda_releases.html\n   ```\n   *注：若无 GPU，可跳过此步，JAX 将自动使用 CPU 运行。*\n\n## 基本使用\n\n以下是在 `HalfCheetah-v2` 环境中训练 SAC 算法的最简示例。\n\n### 启动训练\n在项目根目录下运行：\n\n```bash\npoetry run python train.py --env_name=HalfCheetah-v2 --save_dir=.\u002Ftmp\u002F\n```\n\n### 常用参数说明\n- `--env_name`: 指定 Gym\u002FMuJoCo 环境名称 (例如 `Hopper-v2`, `Walker2d-v2`)。\n- `--save_dir`: 日志和模型保存路径。\n- `--save_video`: 启用视频录制 (需配合 `MUJOCO_GL=egl` 在无头服务器上使用)。\n\n### 查看训练日志\n使用 TensorBoard 可视化训练曲线：\n\n```bash\ntensorboard --logdir=.\u002Ftmp\u002F\n```\n然后在浏览器访问显示的地址 (通常为 `http:\u002F\u002Flocalhost:6006`)。\n\n### 无头服务器运行提示\n如果在远程服务器运行且需要保存视频，请使用 EGL 渲染后端：\n\n```bash\nMUJOCO_GL=egl poetry run python train.py --env_name=cheetah-run --save_dir=.\u002Ftmp\u002F --save_video\n```","某机器人实验室的研究团队正在开发一款基于视觉输入的机械臂抓取系统，需要在连续动作空间中训练智能体快速适应不同物体形状。\n\n### 没有 jaxrl 时\n- 研究人员需手动复现 SAC、DDPG 等复杂算法的 PyTorch 或 TensorFlow 版本，代码冗长且容易引入难以排查的数学逻辑错误。\n- 在尝试结合数据增强（如 DrQ 算法）提升视觉鲁棒性时，缺乏现成的干净实现，导致实验配置周期长达数周。\n- 传统框架在大规模并行采样和梯度计算时效率较低，单次实验迭代耗时过长，严重拖慢了超参数调优进度。\n- 不同算法间的代码结构差异巨大，想要对比 AWAC 与 REDQ 的效果时，需要花费大量时间重构数据接口和环境交互逻辑。\n\n### 使用 jaxrl 后\n- 直接调用 jaxrl 中预置的 Soft Actor Critic 和 Deep Deterministic Policy Gradient 等算法，代码简洁清晰，让团队能立即聚焦于策略改进而非底层实现。\n- 利用内置的图像增强模块（Image Augmentation），仅需修改少量配置即可将视觉鲁棒性实验从“月级”缩短至“天级”完成。\n- 依托 JAX 的自动向量化和 GPU 加速特性，训练吞吐量显著提升，原本需要运行三天的实验现在不到一天即可收敛。\n- 所有算法采用统一的 Flax 架构和数据结构，研究人员可以像搭积木一样快速切换并对比 REDQ、AWAC 等不同策略的性能表现。\n\njaxrl 通过提供高效、统一且易于扩展的 JAX 实现，将研究人员从繁琐的工程复现中解放出来，极大加速了连续控制领域的算法创新与验证过程。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fikostrikov_jaxrl_2fc09c5c.png","ikostrikov","Ilya Kostrikov","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fikostrikov_ca9af6c5.jpg",null,"Berkeley","www.kostrikov.xyz","https:\u002F\u002Fgithub.com\u002Fikostrikov",[80,84,88,92],{"name":81,"color":82,"percentage":83},"Jupyter Notebook","#DA5B0B",88.3,{"name":85,"color":86,"percentage":87},"Python","#3572A5",11.4,{"name":89,"color":90,"percentage":91},"Dockerfile","#384d54",0.3,{"name":93,"color":94,"percentage":95},"Shell","#89e051",0,755,74,"2026-04-15T16:11:15","MIT",4,"Linux","可选（支持 CPU），若使用 GPU 需 NVIDIA 显卡并安装 CUDA（具体版本未说明，参考 JAX 官方要求），建议显存充足以避免 OOM 错误","未说明（遇到内存不足错误时建议调整 XLA_PYTHON_CLIENT_MEM_FRACTION）",{"notes":105,"python":106,"dependencies":107},"1. 尚未支持 Python 3.10。2. 必须安装 MuJoCo 物理引擎及对应的系统依赖库（如 libgl1-mesa-dev 等）。3. 推荐使用 Poetry 管理依赖。4. 若在远程机器运行并保存视频，需设置 MUJOCO_GL=egl 环境变量。5. 如遇显存溢出，可设置 XLA_PYTHON_CLIENT_MEM_FRACTION 环境变量限制显存占用比例。","3.8-3.9",[108,109,110,111,112],"jax","flax","mujoco","poetry","patchelf",[14],[115,116,117,118,119,120,121,108,109,122,123,124,125],"deep-learning","deep-reinforcement-learning","continuous-control","reinforcement-learning","soft-actor-critic","sac","deep-deterministic-policy-gradient","gym","behavioral-cloning","offline-reinforcement-learning","batch-reinforcement-learning","2026-03-27T02:49:30.150509","2026-04-18T14:25:45.428345",[129,134,139,144,149,154],{"id":130,"question_zh":131,"answer_zh":132,"source_url":133},39684,"安装时遇到 'ModuleNotFoundError: No module named setuptools' 错误怎么办？","这是一个常见的依赖缺失问题。该问题已通过合并 PR #20 和 #22 修复。建议确保构建环境中已安装 setuptools，或者直接使用更新后的代码库，其中已改进了依赖管理（例如引入 poetry 支持或修复 setup.py 配置）。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl\u002Fissues\u002F21",{"id":135,"question_zh":136,"answer_zh":137,"source_url":138},39686,"main.py 中的折扣因子（discount factor）变量命名是否具有误导性？","是的，该变量原本用于指示环境是否因时间限制而结束，但在更新逻辑中实际用作掩码（mask），且默认折扣率为 0.99。维护者已确认此问题并将其重命名为 'mask' 以提高代码可读性，相关修复已提交到 jax-sac 仓库。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl\u002Fissues\u002F3",{"id":140,"question_zh":141,"answer_zh":142,"source_url":143},39685,"项目是否必须依赖 TensorFlow (TF) 和 tensorflow_probability？","目前项目仍保留对 tensorflow_probability 的依赖。尽管移除它可以减少安装负担，但维护者表示希望保留它，以便未来更容易添加基于流的策略（flow policies）。如果社区有强烈需求，可以提交 PR 进行移除，但目前官方倾向于保留。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl\u002Fissues\u002F1",{"id":145,"question_zh":146,"answer_zh":147,"source_url":148},39683,"为什么温度模块（熵系数）的实现使用了 sqrt(2.0) 而不是直接对 log-temperature 取指数？","维护者确认在初始化时使用了 sqrt(2.0) 作为缩放因子。虽然与其他实现（如 PyTorch DrQ）不同，但这是该项目的特定选择。有用户尝试改为正交初始化（orthogonal init），但结果显示性能略有下降，因此目前保持使用 sqrt(2.0) 的初始化方式不变。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl\u002Fissues\u002F17",{"id":150,"question_zh":151,"answer_zh":152,"source_url":153},39687,"是否有脚本可以绘制训练奖励（reward）曲线？","有的。维护者已经添加了一个用于绘制奖励的脚本。具体实现可以参考提交记录：https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjax-sac\u002Fcommit\u002F7745b27028a5b75c7755719333430ce1adcf4775，用户可以直接使用该脚本可视化训练结果。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl\u002Fissues\u002F9",{"id":155,"question_zh":156,"answer_zh":157,"source_url":158},39688,"如何安装 MuJoCo 以及 JAX 的 GPU 版本？","关于 MuJoCo 和 JAX GPU 版本的安装说明，请参考 Issue #2 的相关讨论或项目文档。虽然该 Issue 本身没有详细评论，但通常涉及安装 mujoco-py 或通过 conda\u002Fpip 安装特定版本的 JAX（如 pip install jax[cuda]），并配置相应的 CUDA 和 cuDNN 环境。","https:\u002F\u002Fgithub.com\u002Fikostrikov\u002Fjaxrl\u002Fissues\u002F2",[160],{"id":161,"version":162,"summary_zh":75,"released_at":163},315645,"v0.0.6","2021-09-29T04:00:01"]