[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-jannerm--ddpo":3,"tool-jannerm--ddpo":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",147882,2,"2026-04-09T11:32:47",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",108111,"2026-04-08T11:23:26",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":75,"owner_email":75,"owner_twitter":75,"owner_website":77,"owner_url":78,"languages":79,"stars":88,"forks":89,"last_commit_at":90,"license":91,"difficulty_score":92,"env_os":93,"env_gpu":94,"env_ram":95,"env_deps":96,"category_tags":106,"github_topics":75,"view_count":32,"oss_zip_url":75,"oss_zip_packed_at":75,"status":17,"created_at":107,"updated_at":108,"faqs":109,"releases":145},5894,"jannerm\u002Fddpo","ddpo","Code for the paper \"Training Diffusion Models with Reinforcement Learning\"","ddpo 是一个基于强化学习训练扩散模型的开源项目，源自论文《Training Diffusion Models with Reinforcement Learning》。它旨在解决传统扩散模型难以直接针对特定奖励信号（如图像美学评分、文本对齐度或压缩率）进行优化的问题。通过引入去噪扩散策略优化（DDPO）算法，ddpo 允许开发者定义自定义的提示词分布和奖励函数，从而引导模型生成更符合特定需求的高质量图像。\n\n该项目特别适合 AI 研究人员和深度学习开发者使用，尤其是那些希望探索强化学习与生成模型结合前沿技术的人群。ddpo 的独特亮点在于其灵活的奖励机制设计，支持从简单的文件过滤到复杂的 LLaVA 多模态评分等多种反馈形式。虽然原始版本主要针对 Google Cloud TPU 环境优化，但社区已推出了支持 GPU 和低显存训练的 PyTorch 实现，并集成了 LoRA 技术，大幅降低了实验门槛。无论是想提升生成图像的艺术感，还是优化模型在特定任务上的表现，ddpo 都提供了一套经过验证的训练流程和丰富的预配置示例，帮助用户高效开展实验。","# Denoising Diffusion Policy Optimization\n\nTraining code for the paper [Training Diffusion Models with Reinforcement Learning](https:\u002F\u002Frl-diffusion.github.io\u002F).\nThis codebase has been tested on [Google Cloud TPUs](https:\u002F\u002Fcloud.google.com\u002Ftpu) (v3 for RWR and v4 for DDPO); it has not been tested on GPUs.\n\n**UPDATE:** We now have a PyTorch implementation that supports GPUs and LoRA for low-memory training [here](https:\u002F\u002Fgithub.com\u002Fkvablack\u002Fddpo-pytorch)!\n\n| `prompt_fn` | `filter_field` | Weights and Demo |\n| --- | --- | --- |\n| `imagenet_animals` | `jpeg` | [ddpo-compressibility](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-compressibility) |\n| `imagenet_animals` | `neg_jpeg` | [ddpo-incompressibility](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-incompressibility) |\n| `from_file(assets\u002Fcommon_animals.txt)` | `aesthetic` | [ddpo-aesthetic](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-aesthetic) |\n| `nouns_activities(assets\u002Fcommon_animals.txt, assets\u002Factivities_v0.txt)` | `llava_bertscore` | [ddpo-alignment](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-alignment) |\n\n\n## Installation\n\n```\nconda env create -f environment_tpu.yml\nconda activate ddpo-tpu\npip install -e .\n```\n\n## Running DDPO\n```\npython pipeline\u002Fpolicy_gradient.py --dataset compressed-animals\n```\n\nThe `--dataset` flag can be replaced by any of the configs defined in `config\u002Fbase.py`.\nThe first config dict, `base`, defines common arguments that are overridden in specific configs further down.\nSome arguments are shared between methods; DDPO-specific hyperparameters are in the `pg` field.\n\nThe most important arguments are `prompt_fn` and `filter_field`, which define the prompt distribution and reward function, respectively.\nSee `training\u002Fprompts.py` for prompt functions and `training\u002Fcallbacks.py` for reward functions.\n\n## Running RWR\nFor standard RWR, where the weights are a softmax of the rewards:\n```\nbash pipeline\u002Frun-rwr.sh\n```\n\nFor RWR-sparse, where only samples above a certain percentile of the reward distribution are kept and trained on:\n```\nbash pipeline\u002Frun-sparse.sh\n```\n\nThese methods run the outermost training loop in bash rather than Python. They run the `pipeline\u002Fsample.py` script to collect a dataset of samples and rewards, run `pipeline\u002Ffinetune.py` to train the model on the most recent dataset, and repeat for some number of iterations. The sampling step and finetuning step have different configs, which are labeled `\"sample\"` and `\"train\"`, respectively, in `config\u002Fbase.py`.\n\n## Running LLaVA Inference\nLLaVA inference was performed by making HTTP requests to a separate GPU server. See the `llava_bertscore` reward function in `training\u002Fcallbacks.py` for the client-side code, and [this repo](https:\u002F\u002Fgithub.com\u002Fkvablack\u002FLLaVA-server\u002F) for the server-side code.\n\n## Reference\n```\n@inproceedings{black2023ddpo,\n      title={Training Diffusion Models with Reinforcement Learning},\n      author={Kevin Black and Michael Janner and Yilun Du and Ilya Kostrikov and Sergey Levine},\n      year={2023},\n      eprint={2305.13301},\n      archivePrefix={arXiv},\n      primaryClass={cs.LG}\n}\n```\n","# 去噪扩散策略优化\n\n用于论文《使用强化学习训练扩散模型》（https:\u002F\u002Frl-diffusion.github.io\u002F）的训练代码。该代码库已在 [Google Cloud TPUs](https:\u002F\u002Fcloud.google.com\u002Ftpu) 上测试过（RWR 使用 v3，DDPO 使用 v4）；尚未在 GPU 上进行测试。\n\n**更新：** 我们现在提供了一个支持 GPU 和 LoRA 以实现低内存训练的 PyTorch 实现，详情请见 [这里](https:\u002F\u002Fgithub.com\u002Fkvablack\u002Fddpo-pytorch)！\n\n| `prompt_fn` | `filter_field` | 权重与演示 |\n| --- | --- | --- |\n| `imagenet_animals` | `jpeg` | [ddpo-compressibility](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-compressibility) |\n| `imagenet_animals` | `neg_jpeg` | [ddpo-incompressibility](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-incompressibility) |\n| `from_file(assets\u002Fcommon_animals.txt)` | `aesthetic` | [ddpo-aesthetic](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-aesthetic) |\n| `nouns_activities(assets\u002Fcommon_animals.txt, assets\u002Factivities_v0.txt)` | `llava_bertscore` | [ddpo-alignment](https:\u002F\u002Fhuggingface.co\u002Fkvablack\u002Fddpo-alignment) |\n\n\n## 安装\n\n```\nconda env create -f environment_tpu.yml\nconda activate ddpo-tpu\npip install -e .\n```\n\n## 运行 DDPO\n```\npython pipeline\u002Fpolicy_gradient.py --dataset compressed-animals\n```\n\n`--dataset` 标志可以替换为 `config\u002Fbase.py` 中定义的任何配置。第一个配置字典 `base` 定义了通用参数，这些参数会在后续的具体配置中被覆盖。部分参数在不同方法间共享；DDPO 特有的超参数位于 `pg` 字段中。\n\n最重要的两个参数是 `prompt_fn` 和 `filter_field`，它们分别定义了提示分布和奖励函数。提示函数可在 `training\u002Fprompts.py` 中找到，奖励函数则位于 `training\u002Fcallbacks.py`。\n\n## 运行 RWR\n对于标准 RWR，其中权重是奖励的 softmax 归一化结果：\n```\nbash pipeline\u002Frun-rwr.sh\n```\n\n对于 RWR-sparse，仅保留并训练奖励分布中高于特定百分位数的样本：\n```\nbash pipeline\u002Frun-sparse.sh\n```\n\n这些方法使用 Bash 而不是 Python 来运行最外层的训练循环。它们会执行 `pipeline\u002Fsample.py` 脚本以收集样本和奖励数据集，然后运行 `pipeline\u002Ffinetune.py` 来基于最新数据集训练模型，并重复若干次迭代。采样步骤和微调步骤使用不同的配置，在 `config\u002Fbase.py` 中分别标记为 `\"sample\"` 和 `\"train\"`。\n\n## 运行 LLaVA 推理\nLLaVA 推理是通过向独立的 GPU 服务器发送 HTTP 请求来完成的。客户端代码可在 `training\u002Fcallbacks.py` 中的 `llava_bertscore` 奖励函数中找到，而服务器端代码则位于 [此仓库](https:\u002F\u002Fgithub.com\u002Fkvablack\u002FLLaVA-server\u002F)。\n\n## 参考文献\n```\n@inproceedings{black2023ddpo,\n      title={Training Diffusion Models with Reinforcement Learning},\n      author={Kevin Black and Michael Janner and Yilun Du and Ilya Kostrikov and Sergey Levine},\n      year={2023},\n      eprint={2305.13301},\n      archivePrefix={arXiv},\n      primaryClass={cs.LG}\n}\n```","# DDPO 快速上手指南\n\nDDPO (Denoising Diffusion Policy Optimization) 是一个利用强化学习训练扩散模型的开源项目。以下指南基于官方 README 整理，旨在帮助开发者快速搭建环境并运行基础示例。\n\n## 环境准备\n\n*   **硬件要求**：\n    *   官方代码主要针对 **Google Cloud TPUs** 进行测试（RWR 使用 v3，DDPO 使用 v4）。\n    *   **注意**：当前仓库代码**未在 GPU 上进行测试**。如果您需要使用 GPU 或进行低显存训练（支持 LoRA），请使用社区提供的 PyTorch 版本：[ddpo-pytorch](https:\u002F\u002Fgithub.com\u002Fkvablack\u002Fddpo-pytorch)。\n*   **软件依赖**：\n    *   Conda 包管理器\n    *   Python 环境（由 `environment_tpu.yml` 定义）\n\n## 安装步骤\n\n请按照以下命令创建虚拟环境并安装依赖：\n\n```bash\nconda env create -f environment_tpu.yml\nconda activate ddpo-tpu\npip install -e .\n```\n\n> **提示**：国内用户若下载 `pip` 依赖较慢，可在安装命令后追加国内镜像源，例如：`pip install -e . -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple`。\n\n## 基本使用\n\n### 运行 DDPO 训练\n\n使用以下命令启动基础的策略梯度训练流程。该示例使用 `compressed-animals` 数据集配置：\n\n```bash\npython pipeline\u002Fpolicy_gradient.py --dataset compressed-animals\n```\n\n### 关键参数说明\n\n*   `--dataset`：可替换为 `config\u002Fbase.py` 中定义的任何配置名称。\n*   **核心参数**：\n    *   `prompt_fn`：定义提示词分布（见 `training\u002Fprompts.py`）。\n    *   `filter_field`：定义奖励函数（见 `training\u002Fcallbacks.py`）。\n*   **超参数**：DDPO 特有的超参数位于配置字典的 `pg` 字段中。\n\n### 其他运行模式\n\n如果需要运行标准的 RWR (Reward Weighted Regression) 或稀疏 RWR，可使用以下脚本（这些脚本在 Bash 层面控制采样与微调的循环）：\n\n*   **标准 RWR**：\n    ```bash\n    bash pipeline\u002Frun-rwr.sh\n    ```\n*   **稀疏 RWR (RWR-sparse)**：\n    ```bash\n    bash pipeline\u002Frun-sparse.sh\n    ```","某 AIGC 初创团队正在开发一款面向游戏美术的“高审美动物角色”生成器，旨在批量产出符合特定艺术风格且细节完美的素材。\n\n### 没有 ddpo 时\n- **审美不可控**：模型仅依赖静态数据集训练，生成的动物图片常出现结构扭曲或画风不统一，难以直接商用。\n- **反馈滞后**：优化依赖人工筛选海量样本后重新微调，从发现“画面模糊”到模型修正需数天周期，迭代效率极低。\n- **奖励信号单一**：传统方法难以将“压缩率”、“美学评分”或“图文对齐度”等复杂指标直接转化为梯度信号，导致模型无法针对特定业务指标进化。\n- **资源浪费**：为了碰运气获得一张好图，需生成数千张低质样本，计算成本和存储开销巨大。\n\n### 使用 ddpo 后\n- **定向风格进化**：利用强化学习直接将“美学评分”作为奖励函数，模型主动探索并收敛至高审美区域，产出图片艺术感显著提升。\n- **实时策略优化**：ddpo 允许在采样过程中即时根据奖励（如 LLaVA 评估的图文一致性）更新策略，将“生成 - 反馈 - 修正”闭环缩短至小时级。\n- **多目标灵活定制**：团队可轻松切换奖励定义，例如针对“低压缩率”或“特定动作描述”进行专项训练，无需重构整个训练流程。\n- **样本高效利用**：通过策略梯度算法，模型更倾向于生成高回报样本，大幅减少无效生成次数，在同等算力下获得更优的模型性能。\n\nddpo 通过将复杂的业务评价指标转化为直接的强化学习信号，让扩散模型从“被动模仿数据”转变为“主动追求高质量目标”。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fjannerm_ddpo_adaf15bf.png","jannerm","Michael Janner","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fjannerm_eb297ee6.png",null,"UC Berkeley","jannerm.github.io","https:\u002F\u002Fgithub.com\u002Fjannerm",[80,84],{"name":81,"color":82,"percentage":83},"Python","#3572A5",98.8,{"name":85,"color":86,"percentage":87},"Shell","#89e051",1.2,564,36,"2026-04-04T14:44:01","MIT",4,"Linux","原始代码库未测试 GPU，专为 Google Cloud TPU (v3\u002Fv4) 设计；若需 GPU 支持，请使用文中提到的独立 PyTorch 实现版本 (ddpo-pytorch)。","未说明",{"notes":97,"python":98,"dependencies":99},"1. 原始代码库主要基于 JAX\u002FFlax 框架，需在 Google Cloud TPU (v3 用于 RWR, v4 用于 DDPO) 上运行，未在 GPU 上测试。\n2. 如需在 GPU 上运行或使用 LoRA 进行低显存训练，请切换到 README 中提供的 PyTorch 实现版本 (ddpo-pytorch)。\n3. LLaVA 推理功能需要单独部署一台 GPU 服务器并通过 HTTP 请求进行通信。\n4. 建议使用 conda 创建环境 (environment_tpu.yml) 进行安装。","未说明 (通过 conda environment_tpu.yml 管理)",[100,101,102,103,104,105],"jax","flax","optax","diffusers","transformers","torch (仅限 ddpo-pytorch 版本)",[15,14],"2026-03-27T02:49:30.150509","2026-04-09T21:36:23.073828",[110,115,120,125,130,135,140],{"id":111,"question_zh":112,"answer_zh":113,"source_url":114},26750,"如何在 GPU（如 Nvidia A100 或 4090）上运行此项目？","原始仓库是基于 JAX\u002FFlax 的研究代码，并未针对 GPU 进行优化，且在 CUDA 环境下容易遇到版本兼容问题（如 CuDNN 版本不匹配）。维护者强烈建议直接使用专为 GPU 设计的 PyTorch 版本：https:\u002F\u002Fgithub.com\u002Fkvablack\u002Fddpo-pytorch。该版本支持在显存小于 10GB 的小型 GPU 上运行，并包含 LoRA 支持。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F2",{"id":116,"question_zh":117,"answer_zh":118,"source_url":119},26751,"为什么在计算对数概率（log prob）时使用 `jnp.mean` 而不是 `jnp.sum`？","这是为了防止数值溢出。扩散模型的动作空间维度极高（例如 $64 \\times 64 \\times 4 = 16,384$），如果使用 `jnp.sum`，即使概率比率仅为 1.01，总和后的比率也会达到 $1.01^{16384} \\approx 6.33 \\times 10^{70}$，远超 float32 的最大值导致 NaN。使用 `jnp.mean` 可以保持数值稳定性，此时配置的 clip range (如 1e-4) 实际上对应着更大的真实比率裁剪范围（约 0.19 到 5.15），足以满足训练需求。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F10",{"id":121,"question_zh":122,"answer_zh":123,"source_url":124},26752,"项目有发布静态数据集吗？如何获取训练数据？","本项目没有静态数据集。数据是在微调过程中由模型实时采样生成的（on-the-fly）。对于 RWR 变体，采样逻辑在 `pipeline\u002Fsample.py` 中；对于 DDPO 变体，在 `pipeline\u002Fpolicy_gradient.py` 中。所有生成的样本和检查点会保存到配置文件中指定的 GCP bucket 路径（需修改 `config\u002Fuser.py` 中的 `bucket` 变量）。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F5",{"id":126,"question_zh":127,"answer_zh":128,"source_url":129},26753,"运行 LLaVa BERTscore 任务时遇到连接超时（Connection refused）错误怎么办？","该错误通常是因为代码试图连接本地或特定的奖励模型服务器但服务未启动。LLaVa 模型通常作为外部服务运行。你需要确保已经按照文档部署了相应的奖励模型服务，或者检查配置文件中的服务器地址是否正确。如果希望在本地直接调用模型，可能需要修改代码以加载本地模型权重而非通过 HTTP 请求远程服务（具体取决于是否提供了本地推理脚本）。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F8",{"id":131,"question_zh":132,"answer_zh":133,"source_url":134},26754,"图像 - 文本对齐（Image-Text Alignment）任务使用了什么样的 Prompt？","Prompt 由配置文件中的 `prompt_fn` 和 `prompt_kwargs` 字段决定。例如，在 `llava_bertscore` 任务中，代码会调用 `ddpo\u002Ftraining\u002Fprompts.py` 中的 `nouns_activities` 函数，并使用 `assets\u002Fcommon_animals.txt` 和 `assets\u002Factivities_v0.txt` 文件中的内容作为参数来动态生成提示词。你可以查看 `config\u002Fbase.py` 中对应任务的配置来了解具体使用的函数和参数。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F7",{"id":136,"question_zh":137,"answer_zh":138,"source_url":139},26755,"DDPO 方法与传统扩散模型微调的主要区别是什么？","主要区别在于损失函数的计算方式。DDPO（特别是 REINFORCE 版本）会将批次级别的权重（即归一化的奖励值）乘以 Unet 提供的批次级别重建损失。关键代码逻辑是：如果存在权重 `weights`，则执行 `loss = (loss * weights).sum()`，否则对 loss 求均值。这种方法将强化学习的奖励信号直接融入了扩散模型的去噪过程中。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F6",{"id":141,"question_zh":142,"answer_zh":143,"source_url":144},26756,"在 RTX 4090 + CUDA 12.1 环境下报错 CuDNN 版本不匹配如何解决？","错误信息显示运行时加载的 CuDNN 库版本（8.3.2）低于编译时的版本（8.8.0）。虽然可以通过升级 CuDNN 库尝试解决，但鉴于该项目原始代码对 GPU 支持不佳，最推荐的解决方案是迁移到官方推荐的 PyTorch 版本（https:\u002F\u002Fgithub.com\u002Fkvablack\u002Fddpo-pytorch），该版本专门针对 GPU 环境进行了重构和优化，可避免此类复杂的依赖问题。此外，有用户反馈可能需要将 `inflect` 包更新到 6.2.0 或更高版本。","https:\u002F\u002Fgithub.com\u002Fjannerm\u002Fddpo\u002Fissues\u002F4",[]]