[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-opendilab--PPOxFamily":3,"tool-opendilab--PPOxFamily":61},[4,18,26,36,44,53],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":17},4358,"openclaw","openclaw\u002Fopenclaw","OpenClaw 是一款专为个人打造的本地化 AI 助手，旨在让你在自己的设备上拥有完全可控的智能伙伴。它打破了传统 AI 助手局限于特定网页或应用的束缚，能够直接接入你日常使用的各类通讯渠道，包括微信、WhatsApp、Telegram、Discord、iMessage 等数十种平台。无论你在哪个聊天软件中发送消息，OpenClaw 都能即时响应，甚至支持在 macOS、iOS 和 Android 设备上进行语音交互，并提供实时的画布渲染功能供你操控。\n\n这款工具主要解决了用户对数据隐私、响应速度以及“始终在线”体验的需求。通过将 AI 部署在本地，用户无需依赖云端服务即可享受快速、私密的智能辅助，真正实现了“你的数据，你做主”。其独特的技术亮点在于强大的网关架构，将控制平面与核心助手分离，确保跨平台通信的流畅性与扩展性。\n\nOpenClaw 非常适合希望构建个性化工作流的技术爱好者、开发者，以及注重隐私保护且不愿被单一生态绑定的普通用户。只要具备基础的终端操作能力（支持 macOS、Linux 及 Windows WSL2），即可通过简单的命令行引导完成部署。如果你渴望拥有一个懂你",349277,3,"2026-04-06T06:32:30",[13,14,15,16],"Agent","开发框架","图像","数据工具","ready",{"id":19,"name":20,"github_repo":21,"description_zh":22,"stars":23,"difficulty_score":10,"last_commit_at":24,"category_tags":25,"status":17},3808,"stable-diffusion-webui","AUTOMATIC1111\u002Fstable-diffusion-webui","stable-diffusion-webui 是一个基于 Gradio 构建的网页版操作界面，旨在让用户能够轻松地在本地运行和使用强大的 Stable Diffusion 图像生成模型。它解决了原始模型依赖命令行、操作门槛高且功能分散的痛点，将复杂的 AI 绘图流程整合进一个直观易用的图形化平台。\n\n无论是希望快速上手的普通创作者、需要精细控制画面细节的设计师，还是想要深入探索模型潜力的开发者与研究人员，都能从中获益。其核心亮点在于极高的功能丰富度：不仅支持文生图、图生图、局部重绘（Inpainting）和外绘（Outpainting）等基础模式，还独创了注意力机制调整、提示词矩阵、负向提示词以及“高清修复”等高级功能。此外，它内置了 GFPGAN 和 CodeFormer 等人脸修复工具，支持多种神经网络放大算法，并允许用户通过插件系统无限扩展能力。即使是显存有限的设备，stable-diffusion-webui 也提供了相应的优化选项，让高质量的 AI 艺术创作变得触手可及。",162132,"2026-04-05T11:01:52",[14,15,13],{"id":27,"name":28,"github_repo":29,"description_zh":30,"stars":31,"difficulty_score":32,"last_commit_at":33,"category_tags":34,"status":17},1381,"everything-claude-code","affaan-m\u002Feverything-claude-code","everything-claude-code 是一套专为 AI 编程助手（如 Claude Code、Codex、Cursor 等）打造的高性能优化系统。它不仅仅是一组配置文件，而是一个经过长期实战打磨的完整框架，旨在解决 AI 代理在实际开发中面临的效率低下、记忆丢失、安全隐患及缺乏持续学习能力等核心痛点。\n\n通过引入技能模块化、直觉增强、记忆持久化机制以及内置的安全扫描功能，everything-claude-code 能显著提升 AI 在复杂任务中的表现，帮助开发者构建更稳定、更智能的生产级 AI 代理。其独特的“研究优先”开发理念和针对 Token 消耗的优化策略，使得模型响应更快、成本更低，同时有效防御潜在的攻击向量。\n\n这套工具特别适合软件开发者、AI 研究人员以及希望深度定制 AI 工作流的技术团队使用。无论您是在构建大型代码库，还是需要 AI 协助进行安全审计与自动化测试，everything-claude-code 都能提供强大的底层支持。作为一个曾荣获 Anthropic 黑客大奖的开源项目，它融合了多语言支持与丰富的实战钩子（hooks），让 AI 真正成长为懂上",144730,2,"2026-04-07T23:26:32",[14,13,35],"语言模型",{"id":37,"name":38,"github_repo":39,"description_zh":40,"stars":41,"difficulty_score":32,"last_commit_at":42,"category_tags":43,"status":17},2271,"ComfyUI","Comfy-Org\u002FComfyUI","ComfyUI 是一款功能强大且高度模块化的视觉 AI 引擎，专为设计和执行复杂的 Stable Diffusion 图像生成流程而打造。它摒弃了传统的代码编写模式，采用直观的节点式流程图界面，让用户通过连接不同的功能模块即可构建个性化的生成管线。\n\n这一设计巧妙解决了高级 AI 绘图工作流配置复杂、灵活性不足的痛点。用户无需具备编程背景，也能自由组合模型、调整参数并实时预览效果，轻松实现从基础文生图到多步骤高清修复等各类复杂任务。ComfyUI 拥有极佳的兼容性，不仅支持 Windows、macOS 和 Linux 全平台，还广泛适配 NVIDIA、AMD、Intel 及苹果 Silicon 等多种硬件架构，并率先支持 SDXL、Flux、SD3 等前沿模型。\n\n无论是希望深入探索算法潜力的研究人员和开发者，还是追求极致创作自由度的设计师与资深 AI 绘画爱好者，ComfyUI 都能提供强大的支持。其独特的模块化架构允许社区不断扩展新功能，使其成为当前最灵活、生态最丰富的开源扩散模型工具之一，帮助用户将创意高效转化为现实。",107888,"2026-04-06T11:32:50",[14,15,13],{"id":45,"name":46,"github_repo":47,"description_zh":48,"stars":49,"difficulty_score":32,"last_commit_at":50,"category_tags":51,"status":17},4721,"markitdown","microsoft\u002Fmarkitdown","MarkItDown 是一款由微软 AutoGen 团队打造的轻量级 Python 工具，专为将各类文件高效转换为 Markdown 格式而设计。它支持 PDF、Word、Excel、PPT、图片（含 OCR）、音频（含语音转录）、HTML 乃至 YouTube 链接等多种格式的解析，能够精准提取文档中的标题、列表、表格和链接等关键结构信息。\n\n在人工智能应用日益普及的今天，大语言模型（LLM）虽擅长处理文本，却难以直接读取复杂的二进制办公文档。MarkItDown 恰好解决了这一痛点，它将非结构化或半结构化的文件转化为模型“原生理解”且 Token 效率极高的 Markdown 格式，成为连接本地文件与 AI 分析 pipeline 的理想桥梁。此外，它还提供了 MCP（模型上下文协议）服务器，可无缝集成到 Claude Desktop 等 LLM 应用中。\n\n这款工具特别适合开发者、数据科学家及 AI 研究人员使用，尤其是那些需要构建文档检索增强生成（RAG）系统、进行批量文本分析或希望让 AI 助手直接“阅读”本地文件的用户。虽然生成的内容也具备一定可读性，但其核心优势在于为机器",93400,"2026-04-06T19:52:38",[52,14],"插件",{"id":54,"name":55,"github_repo":56,"description_zh":57,"stars":58,"difficulty_score":10,"last_commit_at":59,"category_tags":60,"status":17},4487,"LLMs-from-scratch","rasbt\u002FLLMs-from-scratch","LLMs-from-scratch 是一个基于 PyTorch 的开源教育项目，旨在引导用户从零开始一步步构建一个类似 ChatGPT 的大型语言模型（LLM）。它不仅是同名技术著作的官方代码库，更提供了一套完整的实践方案，涵盖模型开发、预训练及微调的全过程。\n\n该项目主要解决了大模型领域“黑盒化”的学习痛点。许多开发者虽能调用现成模型，却难以深入理解其内部架构与训练机制。通过亲手编写每一行核心代码，用户能够透彻掌握 Transformer 架构、注意力机制等关键原理，从而真正理解大模型是如何“思考”的。此外，项目还包含了加载大型预训练权重进行微调的代码，帮助用户将理论知识延伸至实际应用。\n\nLLMs-from-scratch 特别适合希望深入底层原理的 AI 开发者、研究人员以及计算机专业的学生。对于不满足于仅使用 API，而是渴望探究模型构建细节的技术人员而言，这是极佳的学习资源。其独特的技术亮点在于“循序渐进”的教学设计：将复杂的系统工程拆解为清晰的步骤，配合详细的图表与示例，让构建一个虽小但功能完备的大模型变得触手可及。无论你是想夯实理论基础，还是为未来研发更大规模的模型做准备",90106,"2026-04-06T11:19:32",[35,15,13,14],{"id":62,"github_repo":63,"name":64,"description_en":65,"description_zh":66,"ai_summary_zh":66,"readme_en":67,"readme_zh":68,"quickstart_zh":69,"use_case_zh":70,"hero_image_url":71,"owner_login":72,"owner_name":73,"owner_avatar_url":74,"owner_bio":75,"owner_company":76,"owner_location":76,"owner_email":77,"owner_twitter":73,"owner_website":76,"owner_url":78,"languages":79,"stars":84,"forks":85,"last_commit_at":86,"license":87,"difficulty_score":32,"env_os":88,"env_gpu":89,"env_ram":89,"env_deps":90,"category_tags":93,"github_topics":94,"view_count":32,"oss_zip_url":76,"oss_zip_packed_at":76,"status":17,"created_at":100,"updated_at":101,"faqs":102,"releases":123},5300,"opendilab\u002FPPOxFamily","PPOxFamily","PPO x Family DRL Tutorial Course（决策智能入门级公开课：8节课帮你盘清算法理论，理顺代码逻辑，玩转决策AI应用实践 ）","PPOxFamily 是一套专为决策智能初学者打造的深度强化学习开源教程，核心围绕经典的 PPO 算法展开。它旨在解决新手在面对复杂强化学习理论时“看不懂、难上手”的痛点，通过八节系统课程，帮助用户理清算法逻辑并掌握代码实现。\n\n这套课程独特的亮点在于“以一变应万变”的教学理念：深入剖析一个 PPO 算法，即可灵活适配并解决几乎所有常见的决策智能应用场景，从处理复杂动作空间到多智能体协同，再到稀疏奖励难题，均提供了清晰的理论注解与代码范例。此外，项目持续更新，配套了详细的文档网站、视频讲解以及托管在 HuggingFace 上的作业数据集，形成了完整的学习闭环。\n\nPPOxFamily 非常适合对人工智能充满好奇的学生、希望快速构建原型的开发者，以及想要系统入门强化学习的研究人员。无论你是想理解底层原理，还是急于将技术应用于实际项目，都能在这里找到轻便且高效的学习路径，轻松开启决策 AI 的探索之旅。","\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"500px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_4028a4137332.png\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n# PPO x Family 决策智能入门公开课\n欢迎来到 **PPO x Family** 系列决策智能入门公开课。该系列将深入理解深度强化学习算法 PPO ，灵活运用**一个 PPO 算法**解决几乎**所有常见的决策智能应用** ，帮助一切对于深度强化学习技术有好奇心的人，轻便且高效地制作应用原型，了解和学习最强大最易用的 PPO Family 。\n\n\nP.S. 路过记得点个 star ![stars - ppof](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fopendilab\u002FPPOxFamily?style=social) ，2022年12月起持续更新中~\n\n\n\n# News\n- 2025.03.13: ❗️❗️Notice: 课程作业数据集及其他相关附加材料现已更新至 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FOpenDILabCommunity\u002FPPOxFamily\u002Ftree\u002Fmain)\n- 2023.06.07: PPO x Family 第八章（突破智能体终极界限）及课程大作业将在十月下旬正式上线\n- 2023.06.01: [bilibili] [PPO x Family 第七章（挖掘黑科技）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ou4y1o7qY)\n- 2023.04.06: [bilibili] [PPO x Family 第六章（统筹多智能体）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1dg4y1g7BC)\n- 2023.03.09: [bilibili] [PPO x Family 第五章（探索时序建模）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Uj411u7GA)\n- 2023.02.23: [bilibili] [PPO x Family 第四章（解密稀疏奖励空间）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV15j411F7ni)\n- 2023.01.16: [bilibili] [PPO x Family 第三章（表征多模态观察空间）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1rK411r7Kg)\n- 2022.12.23: [bilibili] [PPO x Family 第二章（解构复杂动作空间）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wv4y167w2)\n- 2022.12.23: PPO x Family ”算法-代码“ 注解文档网站上线 [传送门](https:\u002F\u002Fopendilab.github.io\u002FPPOxFamily\u002F)\n- 2022.12.08: [bilibili] [PPO x Family 第一章（开启决策AI探索之旅）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1cG4y137dJ)\n- 2022.12.06: [bilibili] [PPO x Family 第一章微课视频：4分钟带你快速入门强化学习的万能钥匙](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1e841157Um\u002F)\n- 2022.12.05: [PaperWeekly] [给你一个 PPO × Family 课程，撑起整个决策 AI 宇宙](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKCKfH1VnQGnNWW6svVxdXw)\n- 2022.12.01: [bilibili] [PPO x Family 课程品牌宣传视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1sK411R7JP\u002F?spm_id_from=333.337.search-card.all.click)\n- 2022.11.30: [机器之心] [集中一点，演化无限：PPO × Family决策智能入门公开课即日开讲](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fl_JB3-BgLE2pEBJ2zgRkGQ)\n- 2022.11.30: [中国计算机学会CCF] [【CCF科普群星计划】决策智能入门公开课开课啦](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FNkHi7eeUgQkp31R5Qgsbvw)\n\n\n\n# 课程大纲\n\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"1000px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_27ed7a72ea09.png\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n# 内容导航\n| 章节（视频课） |  算法理论资料 | 补充资料 | 习题 | 代码样例                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | 应用样例|\n|------|-----|----------|-------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| ---|\n| [第一章：开启决策AI探索之旅](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1cG4y137dJ) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_manuscript.pdf) | [微课视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1e841157Um) \u003Cbr> [策略梯度](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_supp_pg.pdf) \u003Cbr> [A2C](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_supp_a2c.pdf) \u003Cbr> [TRPO](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_supp_trpo.pdf) \u003Cbr> [符号表](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fcommon\u002Fnotation.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_hw_solution.pdf) | [PG算法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fpg_zh.py) \u003Cbr> [A2C算法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fa2c_zh.py) \u003Cbr> [PPO算法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fppo_zh.py)                                                                                                                                                                                                                                                                                                                                                                                                                     | [应用混剪](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1vW4y1M7cH\u002F?spm_id_from=333.337.search-card.all.click) |\n| [第二章：解构复杂动作空间](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wv4y167w2) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_manuscript.pdf) | [重参数化](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_supp_reparameterization.pdf) \u003Cbr> [PPO&DDPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_supp_ppovsddpg.pdf) \u003Cbr> [HyAR](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_supp_hyar.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_hw_solution.pdf) | [离散动作示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fdiscrete_tutorial_zh.py) \u003Cbr> [连续动作示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fcontinuous_tutorial_zh.py) \u003Cbr> [混合动作示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fhybrid_tutorial_zh.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_application_demo.py)                                                                                                                                                                                                                                                                    | [火箭回收等](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F4) |\n| [第三章：表征多模态动作空间](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1rK411r7Kg) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_manuscript.pdf) | [表征学习](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_supp_representation.pdf) \u003Cbr> [PPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_supp_ppg.pdf) \u003Cbr> [不变性](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_supp_invariance.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_hw_solution.pdf) | [编码方法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fencoding.py) \u003Cbr> [Wrapper示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fmario_wrapper.py) \u003Cbr> [计算图示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fgradient.py) \u003Cbr>[应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_application_demo.py)                                                                                                                                                                                                                                                                                                              | [软体机器人等](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F8) |\n| [第四章：解密稀疏奖励空间](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV15j411F7ni) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_manuscript.pdf) | [逆强化学习](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_supp_irl.pdf) \u003Cbr> [行为克隆BC](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_supp_bc.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_hw_solution.pdf) | [ICM好奇心奖励](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fcuriosity_icm.py) \u003Cbr> [RND好奇心奖励](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fcuriosity_rnd.py) \u003Cbr> [Pop-Art示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fpopart.py) \u003Cbr> [价值缩放](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fvalue_rescale.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_application_demo.py)                                                                                                                                                                                         | [自动驾驶等](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F44) |\n| [第五章：探索时序建模](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Uj411u7GA) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_lecture.pdf) | [随机性策略](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_supp_sto_det.pdf) \u003Cbr> [RWKV](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_supp_rwkv.pdf) \u003Cbr> [Belief MDP](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_supp_belief.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_hw_solution.pdf) | [LSTM示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Flstm.py) \u003Cbr> [GTrXL示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fgtrxl.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_application_demo.py)                                                                                                                                                                                                                                                                                                                                                                                                                 |  [记忆型决策](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F48) |\n| [第六章：统筹多智能体](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1dg4y1g7BC) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_lecture.pdf) | [HAPPO](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fchapter6_supp_happo.pdf) \u003Cbr> [ACE](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_supp_ace.pdf) \u003Cbr> [值分解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fchapter6_supp_value_dec.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_hw_solution.pdf) | [IndependentPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Findependentpg.py) \u003Cbr> [MAPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fmapg.py) \u003Cbr> [MAPPO](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fmappo.py) \u003Cbr> [HAPPO] \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_application_demo.py)                                                                                                                                                                                                                                                                                                 | [多智能体协作](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F62) | \n| [第七章：挖掘黑科技](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ou4y1o7qY) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_lecture.pdf) | [Adv 估计](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_supp_adv.pdf) \u003Cbr> [PPO off 版](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_supp_ppo_offpolicy.pdf) \u003Cbr> [Entropy](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_supp_entropy.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_hw_solution.pdf) | [GAE](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fgae.py) \u003Cbr> [Recompute](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Frecompute.py) \u003Cbr> [梯度裁剪](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fgrad_clip_norm.py) \u003Cbr> [正交初始化](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Forthogonal_init.py) \u003Cbr> [Dual Clip](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fdual_clip.py) \u003Cbr> [Value Clip](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fvalue_clip.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_application_demo.py) | [学术基准环境](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F79) |\n| 第八章：突破终极界限 | | LLM RLHF | | [语言模型 RL 环境](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter8_large\u002Flm_env.py) | |\n\n# 课程特点\n\n## 一个算法解决万千应用 [视频传送门](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1vW4y1M7cH\u002F?spm_id_from=333.337.search-card.all.click)\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"1000px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_540e07c2b061.jpg\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n## 算法理论和代码实现一一对应 [网站传送门](https:\u002F\u002Fopendilab.github.io\u002FPPOxFamily\u002F)\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"1000px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_9416200f9e77.png\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n# 项目结构\n```text\n.\n├── LICENSE\n├── assets                       --> 相关图片素材（转载请注明来源）\n├── chapter2_action              --> 课程第二章相关内容\n└── chapter1_overview            --> 课程第一章相关内容\n    ├── chapter1_manuscript.pdf  --> 课程第一章文字稿（对于PPT的补充说明）\n    ├── chapter1_lecture.pdf     --> 课程第一章PPT\n    ├── chapter1_qa.pdf          --> 课程第一章答疑文稿\n    ├── chapter1_homework.pdf    --> 课程第一章习题作业\n    ├── chapter1_hw_solution.pdf   --> 课程第一章习题作业题解\n    ├── chapter1_supp_trpo.pdf          --> 课程第一章补充材料（算法理论推导等）\n    └── chapter1_demo_code.py    --> 课程第一章相关代码实现\n```\n\n# 课程答疑和反馈\n- 常见问题FAQ：[传送门](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fcommon\u002Ffaq.pdf)\n- 小助手微信号：ding314assist\n- Slack：[OpenDILab](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fopendilab\u002Fshared_invite\u002Fzt-v9tmv4fp-nUBAQEH1_Kuyu_q4plBssQ)\n- GitHub Issue区：[链接](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues)\n- B站账号：[OpenDILab](https:\u002F\u002Fspace.bilibili.com\u002F1112854351?spm_id_from=333.337.0.0)\n- 知乎账号：[DILab决策实验室](https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fdilab-46)\n- Youtube：[OpenDILab](https:\u002F\u002Fwww.youtube.com\u002F@opendilab)\n- 邮箱：opendilab@pjlab.org.cn\n\n# License\nPPOxFamily is released under the Apache 2.0 license.\n","\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"500px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_4028a4137332.png\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n# PPO x Family 决策智能入门公开课\n欢迎来到 **PPO x Family** 系列决策智能入门公开课。该系列将深入理解深度强化学习算法 PPO ，灵活运用**一个 PPO 算法**解决几乎**所有常见的决策智能应用** ，帮助一切对于深度强化学习技术有好奇心的人，轻便且高效地制作应用原型，了解和学习最强大最易用的 PPO Family .\n\n\nP.S. 路过记得点个 star ![stars - ppof](https:\u002F\u002Fimg.shields.io\u002Fgithub\u002Fstars\u002Fopendilab\u002FPPOxFamily?style=social) ，2022年12月起持续更新中~\n\n\n\n# 新闻\n- 2025.03.13: ❗️❗️通知：课程作业数据集及其他相关附加材料现已更新至 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FOpenDILabCommunity\u002FPPOxFamily\u002Ftree\u002Fmain)\n- 2023.06.07: PPO x Family 第八章（突破智能体终极界限）及课程大作业将在十月下旬正式上线\n- 2023.06.01: [bilibili] [PPO x Family 第七章（挖掘黑科技）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ou4y1o7qY)\n- 2023.04.06: [bilibili] [PPO x Family 第六章（统筹多智能体）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1dg4y1g7BC)\n- 2023.03.09: [bilibili] [PPO x Family 第五章（探索时序建模）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Uj411u7GA)\n- 2023.02.23: [bilibili] [PPO x Family 第四章（解密稀疏奖励空间）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV15j411F7ni)\n- 2023.01.16: [bilibili] [PPO x Family 第三章（表征多模态观察空间）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1rK411r7Kg)\n- 2022.12.23: [bilibili] [PPO x Family 第二章（解构复杂动作空间）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wv4y167w2)\n- 2022.12.23: PPO x Family ”算法-代码“ 注解文档网站上线 [传送门](https:\u002F\u002Fopendilab.github.io\u002FPPOxFamily\u002F)\n- 2022.12.08: [bilibili] [PPO x Family 第一章（开启决策AI探索之旅）正式上线](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1cG4y137dJ)\n- 2022.12.06: [bilibili] [PPO x Family 第一章微课视频：4分钟带你快速入门强化学习的万能钥匙](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1e841157Um\u002F)\n- 2022.12.05: [PaperWeekly] [给你一个 PPO × Family 课程，撑起整个决策 AI 宇宙](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FKCKfH1VnQGnNWW6svVxdXw)\n- 2022.12.01: [bilibili] [PPO x Family 课程品牌宣传视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1sK411R7JP\u002F?spm_id_from=333.337.search-card.all.click)\n- 2022.11.30: [机器之心] [集中一点，演化无限：PPO × Family决策智能入门公开课即日开讲](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002Fl_JB3-BgLE2pEBJ2zgRkGQ)\n- 2022.11.30: [中国计算机学会CCF] [【CCF科普群星计划】决策智能入门公开课开课啦](https:\u002F\u002Fmp.weixin.qq.com\u002Fs\u002FNkHi7eeUgQkp31R5Qgsbvw)\n\n\n\n# 课程大纲\n\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"1000px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_27ed7a72ea09.png\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n# 内容导航\n| 章节（视频课） |  算法理论资料 | 补充资料 | 习题 | 代码样例                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   | 应用样例|\n|------|-----|----------|-------|--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------| ---|\n| [第一章：开启决策AI探索之旅](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1cG4y137dJ) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_manuscript.pdf) | [微课视频](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1e841157Um) \u003Cbr> [策略梯度](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_supp_pg.pdf) \u003Cbr> [A2C](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_supp_a2c.pdf) \u003Cbr> [TRPO](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_supp_trpo.pdf) \u003Cbr> [符号表](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fcommon\u002Fnotation.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fchapter1_hw_solution.pdf) | [PG算法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fpg_zh.py) \u003Cbr> [A2C算法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fa2c_zh.py) \u003Cbr> [PPO算法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter1_overview\u002Fppo_zh.py)                                                                                                                                                                                                                                                                                                                                                                                                                     | [应用混剪](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1vW4y1M7cH\u002F?spm_id_from=333.337.search-card.all.click) |\n| [第二章：解构复杂动作空间](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wv4y167w2) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_manuscript.pdf) | [重参数化](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_supp_reparameterization.pdf) \u003Cbr> [PPO&DDPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_supp_ppovsddpg.pdf) \u003Cbr> [HyAR](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_supp_hyar.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_hw_solution.pdf) | [离散动作示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fdiscrete_tutorial_zh.py) \u003Cbr> [连续动作示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fcontinuous_tutorial_zh.py) \u003Cbr> [混合动作示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fhybrid_tutorial_zh.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter2_action\u002Fchapter2_application_demo.py)                                                                                                                                                                                                                                                                    | [火箭回收等](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F4) |\n| [第三章：表征多模态动作空间](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1rK411r7Kg) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_manuscript.pdf) | [表征学习](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_supp_representation.pdf) \u003Cbr> [PPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_supp_ppg.pdf) \u003Cbr> [不变性](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_supp_invariance.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_hw_solution.pdf) | [编码方法示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fencoding.py) \u003Cbr> [Wrapper示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fmario_wrapper.py) \u003Cbr> [计算图示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fgradient.py) \u003Cbr>[应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter3_obs\u002Fchapter3_application_demo.py)                                                                                                                                                                                                                                                                                                              | [软体机器人等](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F8) |\n| [第四章：解密稀疏奖励空间](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV15j411F7ni) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_lecture.pdf) \u003Cbr> [课程文字稿](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_manuscript.pdf) | [逆强化学习](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_supp_irl.pdf) \u003Cbr> [行为克隆BC](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_supp_bc.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_hw_solution.pdf) | [ICM好奇心奖励](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fcuriosity_icm.py) \u003Cbr> [RND好奇心奖励](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fcuriosity_rnd.py) \u003Cbr> [Pop-Art示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fpopart.py) \u003Cbr> [价值缩放](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fvalue_rescale.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter4_reward\u002Fchapter4_application_demo.py)                                                                                                                                                                                         | [自动驾驶等](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F44) |\n| [第五章：探索时序建模](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1Uj411u7GA) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_lecture.pdf) | [随机性策略](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_supp_sto_det.pdf) \u003Cbr> [RWKV](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_supp_rwkv.pdf) \u003Cbr> [Belief MDP](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_supp_belief.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_hw_solution.pdf) | [LSTM示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Flstm.py) \u003Cbr> [GTrXL示例](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fgtrxl.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter5_time\u002Fchapter5_application_demo.py)                                                                                                                                                                                                                                                                                                                                                                                                                 |  [记忆型决策](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F48) |\n| [第六章：统筹多智能体](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1dg4y1g7BC) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_lecture.pdf) | [HAPPO](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fchapter6_supp_happo.pdf) \u003Cbr> [ACE](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_supp_ace.pdf) \u003Cbr> [值分解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fchapter6_supp_value_dec.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_hw_solution.pdf) | [IndependentPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Findependentpg.py) \u003Cbr> [MAPG](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fmapg.py) \u003Cbr> [MAPPO](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fchapter6_marl\u002Fmappo.py) \u003Cbr> [HAPPO] \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter6_marl\u002Fchapter6_application_demo.py)                                                                                                                                                                                                                                                                                                 | [多智能体协作](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F62) | \n| [第七章：挖掘黑科技](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ou4y1o7qY) | [课程PPT](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_lecture.pdf) | [Adv 估计](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_supp_adv.pdf) \u003Cbr> [PPO off 版](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_supp_ppo_offpolicy.pdf) \u003Cbr> [Entropy](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_supp_entropy.pdf) \u003Cbr> [QA总结](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_qa.pdf) | [习题](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_homework.pdf) \u003Cbr> [习题题解](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_hw_solution.pdf) | [GAE](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fgae.py) \u003Cbr> [Recompute](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Frecompute.py) \u003Cbr> [梯度裁剪](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fgrad_clip_norm.py) \u003Cbr> [正交初始化](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Forthogonal_init.py) \u003Cbr> [Dual Clip](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fdual_clip.py) \u003Cbr> [Value Clip](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fvalue_clip.py) \u003Cbr> [应用训练代码](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter7_tricks\u002Fchapter7_application_demo.py) | [学术基准环境](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F79) |\n| 第八章：突破终极界限 | | LLM RLHF | | [语言模型 RL 环境](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fblob\u002Fmain\u002Fchapter8_large\u002Flm_env.py) | |\n\n# 课程特点\n\n## 一个算法解决万千应用 [视频传送门](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1vW4y1M7cH\u002F?spm_id_from=333.337.search-card.all.click)\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"1000px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_540e07c2b061.jpg\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n\n## 算法理论和代码实现一一对应 [网站传送门](https:\u002F\u002Fopendilab.github.io\u002FPPOxFamily\u002F)\n\u003Cdiv align=\"center\">\n    \u003Ca href=\"https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\">\u003Cimg width=\"1000px\" height=\"auto\" src=\"https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_readme_9416200f9e77.png\">\u003C\u002Fa>\n\u003C\u002Fdiv>\n\n# 项目结构\n```text\n.\n├── LICENSE\n├── assets                       --> 相关图片素材（转载请注明来源）\n├── chapter2_action              --> 课程第二章相关内容\n└── chapter1_overview            --> 课程第一章相关内容\n    ├── chapter1_manuscript.pdf  --> 课程第一章文字稿（对于PPT的补充说明）\n    ├── chapter1_lecture.pdf     --> 课程第一章PPT\n    ├── chapter1_qa.pdf          --> 课程第一章答疑文稿\n    ├── chapter1_homework.pdf    --> 课程第一章习题作业\n    ├── chapter1_hw_solution.pdf   --> 课程第一章习题作业题解\n    ├── chapter1_supp_trpo.pdf          --> 课程第一章补充材料（算法理论推导等）\n    └── chapter1_demo_code.py    --> 课程第一章相关代码实现\n```\n\n# 课程答疑和反馈\n- 常见问题FAQ：[传送门](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Ftree\u002Fmain\u002Fcommon\u002Ffaq.pdf)\n- 小助手微信号：ding314assist\n- Slack：[OpenDILab](https:\u002F\u002Fjoin.slack.com\u002Ft\u002Fopendilab\u002Fshared_invite\u002Fzt-v9tmv4fp-nUBAQEH1_Kuyu_q4plBssQ)\n- GitHub Issue区：[链接](https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues)\n- B站账号：[OpenDILab](https:\u002F\u002Fspace.bilibili.com\u002F1112854351?spm_id_from=333.337.0.0)\n- 知乎账号：[DILab决策实验室](https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fdilab-46)\n- Youtube：[OpenDILab](https:\u002F\u002Fwww.youtube.com\u002F@opendilab)\n- 邮箱：opendilab@pjlab.org.cn\n\n# License\nPPOxFamily 根据 Apache 2.0 许可证发布。","# PPOxFamily 快速上手指南\n\nPPOxFamily 是一套基于深度强化学习算法 PPO 的决策智能入门公开课与代码库，旨在通过一个核心算法解决各类常见的决策智能应用。本指南将帮助你快速搭建环境并运行基础示例。\n\n## 环境准备\n\n在开始之前，请确保你的开发环境满足以下要求：\n\n*   **操作系统**：Linux (推荐 Ubuntu 18.04+)、macOS 或 Windows (需配置 WSL2)\n*   **Python 版本**：Python 3.7 - 3.9\n*   **硬件要求**：\n    *   CPU：用于基础算法学习与小规模实验\n    *   GPU (可选但推荐)：NVIDIA GPU + CUDA 驱动，用于加速深度神经网络训练\n*   **前置依赖**：\n    *   `git`：用于克隆代码仓库\n    *   `pip` 或 `conda`：用于管理 Python 包\n\n## 安装步骤\n\n### 1. 克隆项目仓库\n首先从 GitHub 获取源代码（国内用户若访问缓慢，可尝试使用镜像源或代理）：\n\n```bash\ngit clone https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily.git\ncd PPOxFamily\n```\n\n### 2. 创建虚拟环境\n推荐使用 `conda` 创建独立的虚拟环境以避免依赖冲突：\n\n```bash\nconda create -n ppof python=3.8\nconda activate ppof\n```\n\n### 3. 安装依赖包\n项目依赖主要包括 PyTorch、Gym 等强化学习常用库。建议使用国内镜像源加速安装：\n\n```bash\n# 使用清华源安装基础依赖\npip install -r requirements.txt -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n\n# 如果 requirements.txt 未包含所有必要组件，手动安装核心库\npip install torch torchvision torchaudio --index-url https:\u002F\u002Fdownload.pytorch.org\u002Fwhl\u002Fcu118\npip install gymnasium[all] matplotlib numpy -i https:\u002F\u002Fpypi.tuna.tsinghua.edu.cn\u002Fsimple\n```\n\n> **注意**：具体的 `requirements.txt` 内容请以仓库根目录文件为准。若遇到 Gym 版本兼容性问题，请参考各章节示例代码顶部的导入说明。\n\n## 基本使用\n\nPPOxFamily 的核心在于通过不同的章节示例来学习如何适配各种场景。以下以**第一章：开启决策AI探索之旅**中的基础 PPO 算法为例，演示如何运行一个简单的训练脚本。\n\n### 运行基础 PPO 示例\n\n进入第一章目录并运行提供的中文注释示例代码：\n\n```bash\ncd chapter1_overview\npython ppo_zh.py\n```\n\n该脚本通常会执行以下流程：\n1. 初始化一个简单的 Gym 环境（如 `CartPole-v1`）。\n2. 构建 PPO 策略网络与价值网络。\n3. 进行多轮交互与模型更新。\n4. 输出训练过程中的奖励变化日志。\n\n### 运行特定场景应用\n\n如果你希望直接体验更复杂的应用（如第二章的连续动作控制），可以运行对应的应用演示代码：\n\n```bash\n# 确保在项目根目录\ncd chapter2_action\npython chapter2_application_demo.py\n```\n\n### 查看课程资料与习题\n除了代码运行，建议配合仓库中的文档进行学习：\n*   **理论资料**：查看各章节文件夹下的 `*_lecture.pdf` (PPT) 和 `*_manuscript.pdf` (文字稿)。\n*   **代码注解**：关键算法文件（如 `ppo_zh.py`）内部包含详细的中文注释，适合边读代码边学习。\n*   **进阶资源**：最新的数据集与附加材料已更新至 [HuggingFace](https:\u002F\u002Fhuggingface.co\u002FOpenDILabCommunity\u002FPPOxFamily\u002Ftree\u002Fmain)，可根据课程进度下载。\n\n通过以上步骤，你即可本地复现 PPOxFamily 的核心算法，并开始探索决策智能的奥秘。","某初创游戏团队希望为一款横版动作游戏开发具备自适应难度的 AI 对手，但团队中仅有两名工程师且缺乏深度强化学习（DRL）的实战经验。\n\n### 没有 PPOxFamily 时\n- **理论门槛高**：面对复杂的 PPO 算法公式和多变的超参数，开发者难以理清代码逻辑，往往在环境搭建和基础调试阶段就耗费数周时间。\n- **场景适配难**：游戏涉及连续动作控制与稀疏奖励机制，通用开源代码无法直接运行，需手动重写大量底层逻辑以适配特定游戏状态。\n- **试错成本大**：由于缺乏系统的调优指南，模型训练经常不收敛或陷入局部最优，导致原型验证周期被无限拉长，错失市场窗口。\n\n### 使用 PPOxFamily 后\n- **快速上手**：通过八节系统课程与“算法 - 代码”对照文档，团队迅速掌握了 PPO 核心原理，并在两天内跑通了第一个基准 Demo。\n- **灵活扩展**：利用课程中关于“解构复杂动作空间”和“解密稀疏奖励”的专项模块，直接复用提供的代码模版，轻松解决了游戏特有的操作映射与奖励设计难题。\n- **高效迭代**：基于成熟的 PPO Family 架构，开发者能专注于游戏策略设计而非底层框架修补，将原本需要一个月的原型开发压缩至三天完成。\n\nPPOxFamily 将深奥的决策智能理论转化为可落地的工程实践，让非专家团队也能低成本、高效率地构建出专业的 AI 应用原型。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fopendilab_PPOxFamily_c33ae29b.png","opendilab","OpenDILab","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fopendilab_83f31d72.png","Open-source Decision Intelligence (DI) Platform",null,"opendilab@pjlab.org.cn","https:\u002F\u002Fgithub.com\u002Fopendilab",[80],{"name":81,"color":82,"percentage":83},"Python","#3572A5",100,2553,211,"2026-04-07T07:33:17","Apache-2.0","","未说明",{"notes":91,"python":89,"dependencies":92},"README 主要提供课程大纲、视频链接、理论资料及代码示例路径，未明确列出具体的运行环境需求（如操作系统、GPU、内存、Python 版本及依赖库）。建议参考仓库中的具体代码文件（如 .py 示例）或配套的算法注解文档网站获取详细的环境配置信息。课程作业数据集已更新至 HuggingFace。",[],[14,13],[95,96,97,98,99],"course","decision-intelligence","python","reinforcement-learning","deep-reinforcement-learning","2026-03-27T02:49:30.150509","2026-04-08T10:02:36.151737",[103,108,113,118],{"id":104,"question_zh":105,"answer_zh":106,"source_url":107},24025,"双截断（dual clipping）参数的值应该大于 1 还是小于 1？","双截断参数 `dual_clip` 的值确实应该大于 1.0。这是一个在从 DI-engine 迁移代码时引入的错误，官方已确认该问题并会在后续版本中修复。在使用相关代码时，请确保该参数设置为大于 1 的数值。","https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F95",{"id":109,"question_zh":110,"answer_zh":111,"source_url":112},24026,"第一章补充材料中 $Q_\\pi$ 期望形式的上标标注是否有误？","是的，原公式有误。$Q^\\pi(s_{n,t}, a_{n,t})$ 定义中的上标应该是 $l - t$ 而不是 $l$。因为 $Q^\\pi$ 表示的是从时间步 $t$ 开始的累积回报，在第 $t$ 步的 reward 折扣因子应为 1，而外部已经乘上了针对时间步 0 的折扣因子，不应重复计算。官方已确认并将修正该内容。","https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F97",{"id":114,"question_zh":115,"answer_zh":116,"source_url":117},24027,"第一章关于 TRPO 的理论推导中是否存在逻辑漏洞？","是的，存在一个被忽略的特殊情况。当两个函数在某点函数值和导数值相等时（如 $f_1(x) = x^2$ 和 $f_2(x) = -x^2$ 在 $x=0$ 处），并不一定存在一个邻域使得单调性保持一致。官方承认这是驻点（stationary point）这一特殊情况被忽略了，将在后续版本中修复该理论表述。","https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F2",{"id":119,"question_zh":120,"answer_zh":121,"source_url":122},24028,"项目是否提供 Markdown 格式的资料和笔记？","目前项目仅提供 PDF 版本。维护者表示，由于在 Markdown 中维护图片、代码等资源较为繁琐，因此暂未发布 Markdown 格式。如果现有 PDF 材料的使用没有造成太大不便，建议直接使用 PDF 版本。","https:\u002F\u002Fgithub.com\u002Fopendilab\u002FPPOxFamily\u002Fissues\u002F1",[]]