[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"tool-policy-gradient--GRPO-Zero":3,"similar-policy-gradient--GRPO-Zero":62},{"id":4,"github_repo":5,"name":6,"description_en":7,"description_zh":8,"ai_summary_zh":9,"readme_en":10,"readme_zh":11,"quickstart_zh":12,"use_case_zh":13,"hero_image_url":14,"owner_login":15,"owner_name":15,"owner_avatar_url":16,"owner_bio":17,"owner_company":17,"owner_location":17,"owner_email":17,"owner_twitter":17,"owner_website":17,"owner_url":18,"languages":19,"stars":24,"forks":25,"last_commit_at":26,"license":27,"difficulty_score":28,"env_os":29,"env_gpu":30,"env_ram":31,"env_deps":32,"category_tags":38,"github_topics":17,"view_count":41,"oss_zip_url":17,"oss_zip_packed_at":17,"status":42,"created_at":43,"updated_at":44,"faqs":45,"releases":61},6669,"policy-gradient\u002FGRPO-Zero","GRPO-Zero","Implementing DeepSeek R1's GRPO algorithm from scratch","GRPO-Zero 是一个从零开始实现的轻量级强化学习训练框架，旨在复现 DeepSeek R1 提出的 GRPO（组相对策略优化）算法。它专注于让大语言模型通过自我博弈来提升推理能力，例如解决复杂的数学倒计时问题，并学会在输出最终答案前生成清晰的思维链。\n\n该项目主要解决了传统强化学习训练依赖繁重、显存占用过高的问题。GRPO-Zero 摒弃了庞大的 `transformers` 和 `vLLM` 依赖，仅依靠基础的 `pytorch` 和 `tokenizers` 即可运行。其独特的技术亮点包括：移除对参考模型和 KL 散度计算的需求，从而大幅降低显存消耗；采用令牌级策略梯度损失，确保每个生成 token 得到均衡优化；以及支持将优化器卸载至 CPU，使得在单张 24GB 显存显卡（如 RTX 4090）上也能顺利训练。默认配置下，仅需一张 A40 显卡运行数小时即可获得良好效果。\n\nGRPO-Zero 非常适合希望深入理解大模型强化学习底层原理的 AI 研究人员、算法工程师以及教育资源有限的开发者。对于想要在不投入高昂算力成本的前提下，尝试自定义奖励函数并微调开源模型（如 Qwe","GRPO-Zero 是一个从零开始实现的轻量级强化学习训练框架，旨在复现 DeepSeek R1 提出的 GRPO（组相对策略优化）算法。它专注于让大语言模型通过自我博弈来提升推理能力，例如解决复杂的数学倒计时问题，并学会在输出最终答案前生成清晰的思维链。\n\n该项目主要解决了传统强化学习训练依赖繁重、显存占用过高的问题。GRPO-Zero 摒弃了庞大的 `transformers` 和 `vLLM` 依赖，仅依靠基础的 `pytorch` 和 `tokenizers` 即可运行。其独特的技术亮点包括：移除对参考模型和 KL 散度计算的需求，从而大幅降低显存消耗；采用令牌级策略梯度损失，确保每个生成 token 得到均衡优化；以及支持将优化器卸载至 CPU，使得在单张 24GB 显存显卡（如 RTX 4090）上也能顺利训练。默认配置下，仅需一张 A40 显卡运行数小时即可获得良好效果。\n\nGRPO-Zero 非常适合希望深入理解大模型强化学习底层原理的 AI 研究人员、算法工程师以及教育资源有限的开发者。对于想要在不投入高昂算力成本的前提下，尝试自定义奖励函数并微调开源模型（如 Qwen2.5）的用户来说，这是一个透明、高效且极具参考价值的入门工具。","# GRPO:Zero\n\nGRPO training with minimal dependencies (and low GPU memory usage!). We implement almost everything from scratch and only depend on `tokenizers` for tokenization and `pytorch` for training. \n- No `transformers` and `vLLM` dependencies! \n- The default config is set to run on a single A40 GPU (48GB VRAM) for a few hours to get good results. (An A40 costs `$0.44` per hour if you rent it from RunPod.)\n- We also support training with a 24GB VRAM GPU (e.g., an RTX 4090 GPU) by offloading the optimizer to CPU. Fortunately, this only adds a small overhead to the training because we only update the policy network a few hundred times during the entire training process.\n- We support several improvements over the original GRPO algorithm from the [DAPO project](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476), including:\n    - **Token-level policy gradient loss**: every token is equally weighted in the policy gradient loss.\n    - **Removing KL Divergence**: the KL divergence is not used in the policy gradient loss. This reduces GPU memory usage as we no longer need the reference policy network.\n    - **Overlong episode filtering**: skips unfinished episodes that exceed context length limits. This stabilizes training. Though we disabled it by default to observe model learning under limited context length. Set `skip_unfinished_episodes` to `true` to enable it.\n\n## Algorithm \n\nGroup Relative Policy Optimization (GRPO) is an algorithm proposed by Deepseek for training large language models with reinforcement learning. The idea is simple: for each question, we randomly sample multiple answers. The advantage of an answer is then defined as the normalized reward. This gets rid of the value estimation network. In particular, we implement the following algorithm:\n\n1. For each training step, randomly sample $N$ questions $q_1, q_2, \\cdots, q_N$.\n2. For each question $q_i$, sample $M$ answers $a_{i,1}, a_{i,2}, \\cdots, a_{i,M}$.\n3. Compute the reward $r_{i,j}$ for each answer $a_{i,j}$.\n4. Compute the mean and std of the rewards for each question $q_i$.\n\n$$\n\\begin{aligned}\n\\mu_i &\\leftarrow \\text{mean}(r_{i,1}, r_{i,2}, \\cdots, r_{i,M}) \\\\\n\\sigma_i &\\leftarrow \\text{std}(r_{i,1}, r_{i,2}, \\cdots, r_{i,M})\n\\end{aligned}\n$$\n\n5. For each token $t$ in the answer $a_{i,j}$, compute the advantage as\n\n$$A_{i,j}[t] \\leftarrow \\frac{r_{i,j} - \\mu_i}{\\sigma_i}$$\n\n6. Compute policy gradient using PPO surrogate objective. For simplicity, we will only do one policy update per iteration, in which the gradient of the PPO objective is equivalent to following vanilla policy gradient estimation (per token).\n\n$$\n\\nabla_\\theta \\log \\pi_\\theta(a_{i,j}[t]) \\cdot A_{i,j}[t]\n$$\n\n7. Update the policy network $\\pi(\\theta)$ using the gradient. Go back to step 1.\n\n## CountDown Task\n\nWe are going to train the Qwen2.5 models on the [CountDown task](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4). Given a list of 3 or 4 numbers and a target number, the model needs to generate a mathematical expression using simple arithmetic operations (+, -, *, \u002F) that evaluates to the target number. For example:\n\n```\nQuestion: Given 1 2 3 4 and a target number 11. Show an expression that evaluates to 11.\nAnswer: 1 + (2 * 3) + 4\n```\n\n## Reward Function\n\nTo solve the CountDown task, we will use the GRPO algorithm to train the model to generate the chain of thought reasoning before generating the final expression. Specifically, the model is trained to follow the format:\n\n```\n\u003Cthink>Model step by step reasoning\u003C\u002Fthink>\n\u003Canswer>Final answer\u003C\u002Fanswer>\n```\n\nThe reward is the sum of two components:\n\n1. **Format Reward**: The model earns a reward of `0.1` when it correctly follows the specified format with thinking and answer tags, and `0` otherwise.\n2. **Answer Reward**: The model receives a reward of `1` if its final answer uses each provided number exactly once and correctly evaluates to the target value, otherwise it receives `0`.\n\n\n## Training\n\nWe use the `Qwen2.5-3B-Instruct` model for training. To train the model, run the following commands:\n\n```bash\n# initialize the environment\npip install uv\nuv sync\n\n# install git-lfs\napt update; apt install git-lfs -y; git lfs install\n\n# download the dataset\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4\n\n# download the pretrained model\ngit clone https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-3B-Instruct\n# train the model\nuv run train.py\n# train the model with a 24GB VRAM GPU (e.g., an RTX 4090 GPU)\nuv run train.py --config config_24GB.yaml\n```\n## Acknowledgements\n\nThis project builds upon the work of several outstanding projects:\n\n- [DeepSeekMath](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.03300) for pioneering the GRPO algorithm.\n- [DAPO](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476) for their enhancements to the original GRPO algorithm.\n- [TinyZero](https:\u002F\u002Fgithub.com\u002FJiayi-Pan\u002FTinyZero) for their implementation of GRPO and creation of the [CountDown-Tasks-3to4](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4) dataset.\n- [nano-aha-moment](https:\u002F\u002Fgithub.com\u002FMcGill-NLP\u002Fnano-aha-moment\u002Ftree\u002Fmain) for their clear implementation and tutorial on the GRPO algorithm.\n- [Qwen2.5](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-3B-Instruct) for developing the high-quality pretrained model used in this project.","# GRPO:Zero\n\nGRPO 训练，依赖极低（且 GPU 显存占用少！）。我们几乎从头开始实现所有内容，仅依赖 `tokenizers` 进行分词，以及 `PyTorch` 进行训练。\n- 无需 `transformers` 和 `vLLM` 依赖！\n- 默认配置设置为在单张 A40 GPU（48GB 显存）上运行几个小时，即可获得良好效果。（如果从 RunPod 租用 A40，每小时费用约为 `$0.44`。）\n- 我们还支持使用 24GB 显存的 GPU（例如 RTX 4090）进行训练，方法是将优化器卸载到 CPU 上。幸运的是，这只会给训练带来很小的额外开销，因为在整个训练过程中，我们只更新策略网络几百次。\n- 我们对来自 [DAPO 项目](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476) 的原始 GRPO 算法进行了多项改进，包括：\n    - **基于 token 的策略梯度损失**：策略梯度损失中每个 token 的权重相等。\n    - **移除 KL 散度**：策略梯度损失中不再使用 KL 散度。这减少了 GPU 显存占用，因为我们不再需要参考策略网络。\n    - **过长 episode 过滤**：跳过超出上下文长度限制的未完成 episode，从而稳定训练。不过，我们默认将其关闭，以便观察模型在有限上下文长度下的学习情况。可将 `skip_unfinished_episodes` 设置为 `true` 来启用。\n\n## 算法\n\n组相对策略优化（GRPO）是由 Deepseek 提出的一种用于通过强化学习训练大型语言模型的算法。其思路很简单：对于每个问题，我们随机采样多个答案。然后将某个答案的优势定义为归一化的奖励。这样就无需价值估计网络了。具体来说，我们实现了以下算法：\n\n1. 对于每个训练步骤，随机采样 $N$ 个问题 $q_1, q_2, \\cdots, q_N$。\n2. 对于每个问题 $q_i$, 采样 $M$ 个答案 $a_{i,1}, a_{i,2}, \\cdots, a_{i,M}$。\n3. 计算每个答案 $a_{i,j}$ 的奖励 $r_{i,j}$。\n4. 计算每个问题 $q_i$ 的奖励均值和标准差。\n\n$$\n\\begin{aligned}\n\\mu_i &\\leftarrow \\text{mean}(r_{i,1}, r_{i,2}, \\cdots, r_{i,M}) \\\\\n\\sigma_i &\\leftarrow \\text{std}(r_{i,1}, r_{i,2}, \\cdots, r_{i,M})\n\\end{aligned}\n$$\n\n5. 对于答案 $a_{i,j}$ 中的每个 token $t$, 计算优势：\n\n$$A_{i,j}[t] \\leftarrow \\frac{r_{i,j} - \\mu_i}{\\sigma_i}$$\n\n6. 使用 PPO 替代目标函数计算策略梯度。为简化起见，我们每次迭代只进行一次策略更新，此时 PPO 目标的梯度等同于逐 token 的常规策略梯度估计：\n\n$$\n\\nabla_\\theta \\log \\pi_\\theta(a_{i,j}[t]) \\cdot A_{i,j}[t]\n$$\n\n7. 使用该梯度更新策略网络 $\\pi(\\theta)$。然后返回步骤 1。\n\n## CountDown 任务\n\n我们将使用 [CountDown 任务](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4) 来训练 Qwen2.5 模型。给定 3 或 4 个数字以及一个目标数字，模型需要生成一个仅包含简单算术运算（+、-、*、\u002F）的数学表达式，使其结果等于目标数字。例如：\n\n```\n问题：给定 1 2 3 4 和目标数字 11。请写出一个结果为 11 的表达式。\n答案：1 + (2 * 3) + 4\n```\n\n## 奖励函数\n\n为了解决 CountDown 任务，我们将使用 GRPO 算法来训练模型，在生成最终表达式之前先输出思维链推理过程。具体而言，模型被训练按照以下格式生成内容：\n\n```\n\u003Cthink>模型逐步推理过程\u003C\u002Fthink>\n\u003Canswer>最终答案\u003C\u002Fanswer>\n```\n\n奖励由两部分组成：\n1. **格式奖励**：当模型正确遵循包含 thinking 和 answer 标签的指定格式时，获得奖励 `0.1`；否则得 `0`。\n2. **答案奖励**：如果模型的最终答案恰好使用了每个给定数字一次，并且正确计算出目标值，则获得奖励 `1`；否则得 `0`。\n\n## 训练\n\n我们使用 `Qwen2.5-3B-Instruct` 模型进行训练。要训练模型，请运行以下命令：\n\n```bash\n# 初始化环境\npip install uv\nuv sync\n\n# 安装 git-lfs\napt update; apt install git-lfs -y; git lfs install\n\n# 下载数据集\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4\n\n# 下载预训练模型\ngit clone https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-3B-Instruct\n# 训练模型\nuv run train.py\n# 使用 24GB 显存的 GPU（例如 RTX 4090）训练模型\nuv run train.py --config config_24GB.yaml\n```\n\n## 致谢\n\n本项目建立在多个杰出项目的工作基础上：\n- [DeepSeekMath](https:\u002F\u002Farxiv.org\u002Fabs\u002F2402.03300)，率先提出了 GRPO 算法。\n- [DAPO](https:\u002F\u002Farxiv.org\u002Fabs\u002F2503.14476)，对原始 GRPO 算法进行了多项改进。\n- [TinyZero](https:\u002F\u002Fgithub.com\u002FJiayi-Pan\u002FTinyZero)，实现了 GRPO 并创建了 [CountDown-Tasks-3to4](https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4) 数据集。\n- [nano-aha-moment](https:\u002F\u002Fgithub.com\u002FMcGill-NLP\u002Fnano-aha-moment\u002Ftree\u002Fmain)，提供了清晰的 GRPO 算法实现及教程。\n- [Qwen2.5](https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-3B-Instruct)，开发了本项目中使用的高质量预训练模型。","# GRPO-Zero 快速上手指南\n\nGRPO-Zero 是一个极简依赖的强化学习训练框架，专为低显存环境设计。它从零实现了 GRPO 算法，仅需 `tokenizers` 和 `pytorch`，无需 `transformers` 或 `vLLM`。默认配置可在单张 A40 (48GB) 上运行数小时获得良好效果，同时也支持通过优化器卸载技术在 24GB 显存显卡（如 RTX 4090）上运行。\n\n## 环境准备\n\n### 系统要求\n- **操作系统**: Linux (推荐 Ubuntu)\n- **GPU**: \n  - 推荐：NVIDIA A40 (48GB VRAM)\n  - 支持：NVIDIA RTX 4090 (24GB VRAM，需开启 CPU 卸载模式)\n- **软件依赖**:\n  - Python 3.8+\n  - CUDA 兼容的 PyTorch 版本\n  - `git-lfs` (用于下载大模型和数据集)\n\n### 前置依赖安装\n请确保系统已安装 `git-lfs`：\n```bash\napt update; apt install git-lfs -y; git lfs install\n```\n\n## 安装步骤\n\n本项目推荐使用 `uv` 进行依赖管理，以获得更快的安装速度和更好的环境隔离。\n\n1. **克隆项目代码** (假设已获取项目源码)\n2. **初始化环境并安装依赖**\n```bash\npip install uv\nuv sync\n```\n> **提示**：国内开发者若遇到 `uv sync` 下载慢的问题，可尝试配置国内源（如清华源或阿里源）或在 `uv` 命令中指定索引 URL。\n\n3. **下载数据集**\n本项目使用 CountDown 数学任务数据集：\n```bash\ngit clone https:\u002F\u002Fhuggingface.co\u002Fdatasets\u002FJiayi-Pan\u002FCountdown-Tasks-3to4\n```\n> **加速建议**：如果 HuggingFace 连接缓慢，建议使用国内镜像站（如 `hf-mirror.com`）或代理加速下载。\n\n4. **下载预训练模型**\n本项目基于 Qwen2.5-3B-Instruct 模型：\n```bash\ngit clone https:\u002F\u002Fhuggingface.co\u002FQwen\u002FQwen2.5-3B-Instruct\n```\n\n## 基本使用\n\n### 场景一：标准训练 (推荐 48GB+ 显存)\n适用于 A40 (48GB) 或更高显存显卡。直接运行默认配置即可开始训练。\n\n```bash\nuv run train.py\n```\n\n### 场景二：低显存训练 (24GB 显存)\n适用于 RTX 4090 (24GB) 等显卡。通过加载特定配置文件，将优化器状态卸载到 CPU，以牺牲少量速度换取低显存占用。\n\n```bash\nuv run train.py --config config_24GB.yaml\n```\n\n### 训练任务说明\n启动后，模型将在 **CountDown 任务** 上进行强化学习微调：\n- **输入**：给定 3-4 个数字和一个目标值。\n- **输出**：模型需生成包含 `\u003Cthink>` 推理过程和 `\u003Canswer>` 最终表达式的回答。\n- **奖励机制**：\n  1. **格式奖励 (0.1)**：正确输出 think\u002Fanswer 标签。\n  2. **答案奖励 (1.0)**：表达式计算结果等于目标值且数字使用正确。\n\n训练过程中，算法会自动对每个问题采样多个答案，计算相对优势并更新策略网络，无需价值网络估计。","某初创教育科技团队正致力于开发一款能自动讲解数学解题思路的 AI 辅导助手，需要在有限的算力预算下快速验证强化学习算法的有效性。\n\n### 没有 GRPO-Zero 时\n- **硬件门槛极高**：传统强化学习框架依赖庞大的 `transformers` 和 `vLLM` 库，显存占用巨大，团队被迫租用昂贵的多卡集群，单次实验成本高昂。\n- **训练流程复杂**：需要额外维护一个参考策略网络（Reference Policy）来计算 KL 散度，不仅增加了代码调试难度，还进一步挤占了宝贵的显存资源。\n- **样本效率低下**：原有的奖励机制难以精细区分每个生成 token 的贡献，导致模型在“倒计时数学题”这类需要严密逻辑的任务中收敛缓慢，常生成格式错误或计算失误的答案。\n\n### 使用 GRPO-Zero 后\n- **单卡即可运行**：GRPO-Zero 仅依赖 PyTorch 和 Tokenizers，移除冗余依赖并支持优化器卸载至 CPU，使得团队仅需一张消费级 RTX 4090（24GB 显存）即可完成 Qwen2.5-3B 模型的全流程训练。\n- **架构轻量高效**：通过移除 KL 散度计算，不再需要加载参考模型，显著降低了显存峰值；同时引入过长生成的自动过滤机制，确保了训练过程的稳定性。\n- **推理能力显著提升**：利用令牌级策略梯度损失，模型能更精准地学习 `\u003Cthink>` 思考标签内的逻辑推导，快速掌握“先推理后作答”的格式，解题准确率在短时间内大幅跃升。\n\nGRPO-Zero 以极低的资源消耗实现了高效的强化学习微调，让中小团队也能轻松拥有具备深度推理能力的专用大模型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fpolicy-gradient_GRPO-Zero_e667c0f0.png","policy-gradient","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fpolicy-gradient_3212252c.png",null,"https:\u002F\u002Fgithub.com\u002Fpolicy-gradient",[20],{"name":21,"color":22,"percentage":23},"Python","#3572A5",100,1824,95,"2026-04-11T10:31:57","Apache-2.0",3,"Linux","必需 NVIDIA GPU。推荐配置：单张 A40 (48GB 显存)。支持低配方案：24GB 显存 GPU (如 RTX 4090)，需通过将优化器卸载到 CPU 来运行。","未说明 (但在 24GB GPU 模式下需将优化器卸载至 CPU，暗示需要充足的系统内存)",{"notes":33,"python":34,"dependencies":35},"该项目极简依赖，明确不需要 `transformers` 和 `vLLM`。安装需使用 `uv` 工具 (`pip install uv`, `uv sync`)。在 Linux 环境下需安装 `git-lfs` 以下载数据集和模型。针对 24GB 显存显卡训练时，需使用 `--config config_24GB.yaml` 参数启用优化器 CPU 卸载功能。","未说明 (通过 `uv sync` 管理环境)",[36,37],"tokenizers","pytorch",[39,40],"语言模型","开发框架",2,"ready","2026-03-27T02:49:30.150509","2026-04-11T23:23:13.995482",[46,51,56],{"id":47,"question_zh":48,"answer_zh":49,"source_url":50},30124,"为什么在注意力机制（Attention）实现中去掉了 self.scaling，这与 Hugging Face Transformers 的实现不同？","缩放因子 `1\u002Fsqrt(head_dim)` 实际上已经默认包含在 `torch.nn.functional.scaled_dot_product_attention` 函数中了，因此不需要手动再次应用。您可以参考 PyTorch 官方文档：https:\u002F\u002Fpytorch.org\u002Fdocs\u002Fstable\u002Fgenerated\u002Ftorch.nn.functional.scaled_dot_product_attention.html","https:\u002F\u002Fgithub.com\u002Fpolicy-gradient\u002FGRPO-Zero\u002Fissues\u002F10",{"id":52,"question_zh":53,"answer_zh":54,"source_url":55},30125,"加载数据集时遇到 'Parquet magic bytes not found' 或 'Could not read schema' 错误怎么办？","这通常是因为没有安装 Git LFS 导致大文件未被正确下载。请在克隆数据集之前确保已安装并初始化 Git LFS。执行以下命令：\n\napt update; apt install git-lfs -y; git lfs install\n\n安装完成后，重新克隆或拉取数据即可解决。","https:\u002F\u002Fgithub.com\u002Fpolicy-gradient\u002FGRPO-Zero\u002Fissues\u002F1",{"id":57,"question_zh":58,"answer_zh":59,"source_url":60},30126,"在梯度累积（gradient accumulation）过程中，`num_target_tokens` 是如何在微批次（micro-batch）中正确计算的？","`num_target_tokens` 代表整个批次（total batch）中的目标 token 总数。在梯度累积过程中，所有微批次的梯度会被累加，其效果等同于将所有目标 token 的总和除以 `num_target_tokens`。因此，即使在微批次计算中使用该全局数值，最终得到的平均梯度也是正确的。","https:\u002F\u002Fgithub.com\u002Fpolicy-gradient\u002FGRPO-Zero\u002Fissues\u002F11",[],[63,74,82,90,98,107],{"id":64,"name":65,"github_repo":66,"description_zh":67,"stars":68,"difficulty_score":28,"last_commit_at":69,"category_tags":70,"status":42},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,"2026-04-06T06:32:30",[71,40,72,73],"Agent","图像","数据工具",{"id":75,"name":76,"github_repo":77,"description_zh":78,"stars":79,"difficulty_score":28,"last_commit_at":80,"category_tags":81,"status":42},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[40,72,71],{"id":83,"name":84,"github_repo":85,"description_zh":86,"stars":87,"difficulty_score":41,"last_commit_at":88,"category_tags":89,"status":42},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",150720,"2026-04-11T11:33:10",[40,71,39],{"id":91,"name":92,"github_repo":93,"description_zh":94,"stars":95,"difficulty_score":41,"last_commit_at":96,"category_tags":97,"status":42},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108322,"2026-04-10T11:39:34",[40,72,71],{"id":99,"name":100,"github_repo":101,"description_zh":102,"stars":103,"difficulty_score":41,"last_commit_at":104,"category_tags":105,"status":42},6121,"gemini-cli","google-gemini\u002Fgemini-cli","gemini-cli 是一款由谷歌推出的开源 AI 命令行工具，它将强大的 Gemini 大模型能力直接集成到用户的终端环境中。对于习惯在命令行工作的开发者而言，它提供了一条从输入提示词到获取模型响应的最短路径，无需切换窗口即可享受智能辅助。\n\n这款工具主要解决了开发过程中频繁上下文切换的痛点，让用户能在熟悉的终端界面内直接完成代码理解、生成、调试以及自动化运维任务。无论是查询大型代码库、根据草图生成应用，还是执行复杂的 Git 操作，gemini-cli 都能通过自然语言指令高效处理。\n\n它特别适合广大软件工程师、DevOps 人员及技术研究人员使用。其核心亮点包括支持高达 100 万 token 的超长上下文窗口，具备出色的逻辑推理能力；内置 Google 搜索、文件操作及 Shell 命令执行等实用工具；更独特的是，它支持 MCP（模型上下文协议），允许用户灵活扩展自定义集成，连接如图像生成等外部能力。此外，个人谷歌账号即可享受免费的额度支持，且项目基于 Apache 2.0 协议完全开源，是提升终端工作效率的理想助手。",100752,"2026-04-10T01:20:03",[106,71,72,40],"插件",{"id":108,"name":109,"github_repo":110,"description_zh":111,"stars":112,"difficulty_score":41,"last_commit_at":113,"category_tags":114,"status":42},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[106,40]]