[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"similar-zhoubolei--introRL":3,"tool-zhoubolei--introRL":65},[4,23,32,40,49,57],{"id":5,"name":6,"github_repo":7,"description_zh":8,"stars":9,"difficulty_score":10,"last_commit_at":11,"category_tags":12,"status":22},2268,"ML-For-Beginners","microsoft\u002FML-For-Beginners","ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。\n\n无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。",84991,2,"2026-04-05T10:45:23",[13,14,15,16,17,18,19,20,21],"图像","数据工具","视频","插件","Agent","其他","语言模型","开发框架","音频","ready",{"id":24,"name":25,"github_repo":26,"description_zh":27,"stars":28,"difficulty_score":29,"last_commit_at":30,"category_tags":31,"status":22},3128,"ragflow","infiniflow\u002Fragflow","RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。\n\n在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。\n\n这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。",77062,3,"2026-04-04T04:44:48",[17,13,20,19,18],{"id":33,"name":34,"github_repo":35,"description_zh":36,"stars":37,"difficulty_score":29,"last_commit_at":38,"category_tags":39,"status":22},519,"PaddleOCR","PaddlePaddle\u002FPaddleOCR","PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。\n\n面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。\n\nPaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。",74913,"2026-04-05T10:44:17",[19,13,20,18],{"id":41,"name":42,"github_repo":43,"description_zh":44,"stars":45,"difficulty_score":46,"last_commit_at":47,"category_tags":48,"status":22},3215,"awesome-machine-learning","josephmisiti\u002Fawesome-machine-learning","awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。\n\n它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。\n\n其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。",72149,1,"2026-04-03T21:50:24",[20,18],{"id":50,"name":51,"github_repo":52,"description_zh":53,"stars":54,"difficulty_score":46,"last_commit_at":55,"category_tags":56,"status":22},2234,"scikit-learn","scikit-learn\u002Fscikit-learn","scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。\n\n对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。\n\n其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最",65628,"2026-04-05T10:10:46",[20,18,14],{"id":58,"name":59,"github_repo":60,"description_zh":61,"stars":62,"difficulty_score":10,"last_commit_at":63,"category_tags":64,"status":22},3364,"keras","keras-team\u002Fkeras","Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。\n\n无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。\n\nKeras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。",63927,"2026-04-04T15:24:37",[20,14,18],{"id":66,"github_repo":67,"name":68,"description_en":69,"description_zh":70,"ai_summary_zh":70,"readme_en":71,"readme_zh":72,"quickstart_zh":73,"use_case_zh":74,"hero_image_url":75,"owner_login":76,"owner_name":77,"owner_avatar_url":78,"owner_bio":79,"owner_company":80,"owner_location":81,"owner_email":79,"owner_twitter":76,"owner_website":82,"owner_url":83,"languages":79,"stars":84,"forks":85,"last_commit_at":86,"license":87,"difficulty_score":46,"env_os":88,"env_gpu":89,"env_ram":89,"env_deps":90,"category_tags":93,"github_topics":79,"view_count":10,"oss_zip_url":79,"oss_zip_packed_at":79,"status":22,"created_at":94,"updated_at":95,"faqs":96,"releases":127},2770,"zhoubolei\u002FintroRL","introRL","Intro to Reinforcement Learning (强化学习纲要）","introRL 是一套专为初学者打造的强化学习入门课程，旨在帮助学习者系统掌握这一人工智能核心领域的基础知识。针对强化学习理论抽象、数学门槛高、难以自学的痛点，introRL 提供了结构清晰的十讲系列内容，涵盖从马尔科夫决策过程、无模型预测控制，到策略优化、模仿学习及分布式系统等关键主题。\n\n这套资源由周博磊教授主讲，采用英文幻灯片配合中文授课的独特形式，既保留了国际通用的专业术语，又通过母语讲解降低了理解难度。课程不仅包含完整的理论推导，还特别设置了如 AlphaStar 实战剖析等进阶内容，帮助学习者打通理论与实践的壁垒。所有讲座视频同步发布于 YouTube 和哔哩哔哩，并附带详细课件，方便随时回顾与查阅。\n\nintroRL 非常适合高校学生、AI 开发者以及希望转行进入强化学习领域的研究人员使用。对于缺乏相关背景的普通爱好者，只要具备基础的机器学习概念，也能跟随课程循序渐进地建立知识体系。作为一套开源教育项目，introRL 以严谨的学术态度和友好的学习方式，成为许多人开启强化学习之旅的首选指南。","![teaser](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzhoubolei_introRL_readme_3ec5010ab5ba.png)\n## Overview\nThis short RL course introduces the basic knowledge of reinforcement learning. Slides are made in English and lectures are given by [Bolei Zhou](http:\u002F\u002Fbzhou.ie.cuhk.edu.hk\u002F) in Mandarin. The course is for personal educational use only. Please open an issue if you spot some typos or errors in the slides. \n\n## Course Schedule\nThe course is scheduled as follows. There are 10 lectures in total, where the first one was premiered on 16 March 2020 and the last one was finished on 25 May 2020. Thanks for watching and may ReinForce be with you!\n\n|            \t  | Topic                                      \t  | Resources |\n|--------------\t|----------------------------------------------\t|----------\t|\n|  Lecture1 \t| Overview (课程概括与RL基础)                                   \t|[slide](lecture1.pdf), Youtube([part1](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=IkEF4LpH5Ys), [part2](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Qu8CPnnwplM)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1LE411G7Xj\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1g7411Z7SJ\u002F))  |\n|  Lecture2 \t| Markov Decision Process (马尔科夫决策过程)                    \t| [slide](lecture2.pdf), Youtube([part1](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=6yE9XiIB3hQ), [part2](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=MIZbocCu7Sk)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1g7411m7Ms\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1u7411m7rh\u002F)) |\n|  Lecture3 \t| Model-free Prediction and Control (无模型的预测和控制)          \t|  [slide](lecture3.pdf), Youtube([part1](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Duj1U73yHik), [part2](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=sfkhinBjGGY)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1N7411Q7aJ\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1N7411Q7M6\u002F)) |\n|  Lecture4 \t| Value Function Approximation (价值函数近似)               \t|[slide](lecture4.pdf), Youtube([part1](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=YdWsnB-u8PQ), [part2](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=fGIaFlbBFxk)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV11V411f7bi\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1w54y1d7se\u002F))  |\n|  Lecture5 \t| Policy Optimization: Foundation (策略优化基础篇)             |[slide](lecture5.pdf), Youtube([part1](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=ProKaoyduFY), [part2](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=MWXazkQkTlk)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1fZ4y1x7mp\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ia4y1x7Va\u002F))            \t|\n|  Lecture6 \t| Policy Optimization: State of the art (策略优化进阶篇)      \t|[slide](lecture6.pdf), Youtube([part1](https:\u002F\u002Fyoutu.be\u002F4YIdjLh-MJs), [part2](https:\u002F\u002Fyoutu.be\u002FHOpiQWM0PCA)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1s64y1M7AW\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1EK41157fD\u002F))  |\n|  Lecture7 \t| Model-based RL (基于环境模型的RL)                             \t|[slide](lecture7.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002F2Cy8ZX16pBU), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1hV411d7Sg\u002F)|\n|  Lecture8 \t| Imitation Learning (模仿学习)                         \t|[slide](lecture8.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002FSqvn6RxU8qk), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV17k4y1k7Gu\u002F)           \t|\n| Lecture9 \t| Distributed systems for RL (分布式系统) \t|[slide](lecture9.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002FPyHGeFFfaWk), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1bi4y147Rv\u002F)           \t|\n| Lecture10 \t| RL in a nutshell (课程结局篇)|[slide](lecture10.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002FbDGmKVKAdHg), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1si4y1s7oQ\u002F)           \t|\n| Bonus 1 \t| DeepMind's AlphaStar Explained (剖析星际争霸AI) by [Zhenghao Peng](https:\u002F\u002Fgithub.com\u002Fpengzhenghao)|[slide](lecture_alphastar.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002F5qp0VNC_iOc), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wa4y1e74G\u002F)           \t|\n","![预告图](https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzhoubolei_introRL_readme_3ec5010ab5ba.png)\n## 概述\n本简短的强化学习课程介绍了强化学习的基础知识。课件以英文制作，讲座由[Bolei Zhou](http:\u002F\u002Fbzhou.ie.cuhk.edu.hk\u002F)用普通话讲授。本课程仅供个人学习使用。如果您在课件中发现任何错别字或错误，请提交 issue。\n\n## 课程安排\n课程安排如下。总共10讲，第一讲于2020年3月16日首播，最后一讲于2020年5月25日结束。感谢您的观看，愿 ReinForce 与您同在！\n\n|            \t  | 主题                                      \t  | 资源 |\n|--------------\t|----------------------------------------------\t|----------\t|\n|  第1讲 \t| 概述（课程概括与RL基础）                                   \t|[课件](lecture1.pdf), Youtube([上集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=IkEF4LpH5Ys), [下集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Qu8CPnnwplM)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1LE411G7Xj\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1g7411Z7SJ\u002F))  |\n|  第2讲 \t| 马尔科夫决策过程                    \t|  [课件](lecture2.pdf), Youtube([上集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=6yE9XiIB3hQ), [下集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=MIZbocCu7Sk)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1g7411m7Ms\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1u7411m7rh\u002F)) |\n|  第3讲 \t| 无模型的预测和控制          \t|  [课件](lecture3.pdf), Youtube([上集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=Duj1U73yHik), [下集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=sfkhinBjGGY)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1N7411Q7aJ\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1N7411Q7M6\u002F)) |\n|  第4讲 \t| 价值函数近似               \t|[课件](lecture4.pdf), Youtube([上集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=YdWsnB-u8PQ), [下集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=fGIaFlbBFxk)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV11V411f7bi\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1w54y1d7se\u002F))  |\n|  第5讲 \t| 策略优化基础篇             |[课件](lecture5.pdf), Youtube([上集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=ProKaoyduFY), [下集](https:\u002F\u002Fwww.youtube.com\u002Fwatch?v=MWXazkQkTlk)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1fZ4y1x7mp\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1ia4y1x7Va\u002F))            \t|\n|  第6讲 \t| 策略优化进阶篇      \t|[课件](lecture6.pdf), Youtube([上集](https:\u002F\u002Fyoutu.be\u002F4YIdjLh-MJs), [下集](https:\u002F\u002Fyoutu.be\u002FHOpiQWM0PCA)), B站([上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1s64y1M7AW\u002F), [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1EK41157fD\u002F))  |\n|  第7讲 \t| 基于环境模型的RL                             \t|[课件](lecture7.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002F2Cy8ZX16pBU), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1hV411d7Sg\u002F)|\n|  第8讲 \t| 模仿学习                         \t|[课件](lecture8.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002FSqvn6RxU8qk), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV17k4y1k7Gu\u002F)           \t|\n| 第9讲 \t| 强化学习中的分布式系统 \t|[课件](lecture9.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002FPyHGeFFfaWk), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1bi4y147Rv\u002F)           \t|\n| 第10讲 \t| 课程结局篇|[课件](lecture10.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002FbDGmKVKAdHg), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1si4y1s7oQ\u002F)           \t|\n| 特别加餐1 \t| DeepMind 的 AlphaStar 解析（剖析星际争霸AI）由 [Zhenghao Peng](https:\u002F\u002Fgithub.com\u002Fpengzhenghao) 讲解|[课件](lecture_alphastar.pdf), [Youtube](https:\u002F\u002Fyoutu.be\u002F5qp0VNC_iOc), [B站](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1wa4y1e74G\u002F)           \t|","# introRL 快速上手指南\n\nintroRL 是一门由 Bolei Zhou 主讲的强化学习入门课程，包含英文幻灯片与中文讲解视频。本指南将帮助你快速访问课程资源并开始学习。\n\n## 环境准备\n\n本课程主要为理论教学与视频学习，**无需安装特定的 Python 环境或依赖库**即可观看核心内容。\n\n- **系统要求**：任意支持现代浏览器的操作系统（Windows, macOS, Linux）。\n- **前置依赖**：\n  - 稳定的网络连接（用于访问 YouTube 或 Bilibili）。\n  - PDF 阅读器（用于查看课程幻灯片）。\n  - （可选）若需复现课程中的代码实验，建议安装 Python 3.7+ 及 PyTorch\u002FTensorFlow 等深度学习框架。\n\n## 安装步骤\n\n由于本课程资源以在线视频和文档形式提供，不存在传统的“安装”过程。你可以通过以下方式获取学习资料：\n\n1. **下载幻灯片**：\n   点击课程表中对应章节的 `[slide](lectureX.pdf)` 链接直接下载 PDF 文件。\n\n2. **观看视频（推荐国内用户）**：\n   优先使用 **Bilibili (B 站)** 观看中文讲解，无需特殊网络配置。\n   - 访问 B 站并搜索对应视频标题，或直接点击课程表中的 B 站链接。\n\n3. **（可选）克隆代码仓库**：\n   如果课程关联了具体的代码实现仓库（通常在视频描述或幻灯片末尾提及），可使用以下命令拉取：\n   ```bash\n   git clone https:\u002F\u002Fgithub.com\u002FBoleiZhou\u002FintroRL.git\n   cd introRL\n   ```\n   *注：若需安装代码依赖，请进入具体实验目录后执行 `pip install -r requirements.txt`。*\n\n## 基本使用\n\n最简单的学习方式是从第一讲开始，结合幻灯片与视频同步学习。\n\n### 示例：开始第一课学习\n\n1. **打开资料**：\n   - 下载并打开 [Lecture 1 幻灯片](lecture1.pdf)。\n   - 在浏览器打开 [B 站上集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1LE411G7Xj\u002F) 和 [下集](https:\u002F\u002Fwww.bilibili.com\u002Fvideo\u002FBV1g7411Z7SJ\u002F)。\n\n2. **学习路径**：\n   - 先浏览幻灯片大纲，了解“课程概括与 RL 基础”的核心概念。\n   - 播放视频，跟随讲师的中文讲解深入理解马尔科夫决策过程等基础理论。\n\n3. **进阶实践**：\n   完成基础理论学习后，可依次学习后续章节，如“无模型的预测和控制”或“策略优化”。对于包含代码演示的章节（如 Policy Optimization），建议在本地 Python 环境中运行提供的示例脚本以加深理解。\n\n祝你学习顺利，愿 ReinForce 与你同在！","某高校人工智能实验室的研究生团队正试图复现一篇关于机器人抓取的最新论文，但成员们因强化学习理论基础参差不齐，导致代码调试陷入僵局。\n\n### 没有 introRL 时\n- 团队成员对马尔科夫决策过程（MDP）等核心概念理解模糊，花费大量时间查阅零散的英文资料仍不得要领。\n- 在区分“无模型预测”与“基于模型的控制”时产生严重分歧，导致算法选型错误，训练策略完全跑偏。\n- 面对复杂的策略优化公式（如 PPO 或 SAC），缺乏系统的数学推导讲解，只能盲目调参，实验反复失败。\n- 想要了解分布式训练或模仿学习等进阶内容时，找不到结构清晰且配有中文讲解的入门资源，学习曲线极其陡峭。\n\n### 使用 introRL 后\n- 通过 Lecture 2 中 Bolei Zhou 教授的中文视频与配套幻灯片，团队快速统一了对 MDP 的认知，消除了理论歧义。\n- 借助 Lecture 3 和 Lecture 7 对无模型及基于模型方法的对比讲解，团队迅速修正了算法架构，明确了技术路线。\n- 跟随 Lecture 5 和 Lecture 6 从基础到前沿的策略优化课程，成员们理解了梯度更新的本质，将调参过程转化为有依据的优化。\n- 利用 Lecture 8 和 Lecture 9 关于模仿学习与分布式系统的专题，团队成功引入了辅助训练技巧，显著提升了收敛速度。\n\nintroRL 通过系统化的中英文双语教学，将原本碎片化、高门槛的强化学习知识转化为可落地的工程能力，极大缩短了科研团队的试错周期。","https:\u002F\u002Foss.gittoolsai.com\u002Fimages\u002Fzhoubolei_introRL_3ec5010a.png","zhoubolei","Bolei Zhou","https:\u002F\u002Foss.gittoolsai.com\u002Favatars\u002Fzhoubolei_5aa0b043.jpg",null,"UCLA","California","https:\u002F\u002Fboleizhou.github.io\u002F","https:\u002F\u002Fgithub.com\u002Fzhoubolei",3573,499,"2026-03-31T14:23:13","MIT","","未说明",{"notes":91,"python":89,"dependencies":92},"该项目为一个强化学习课程资源库，主要包含课件（PDF）、讲座视频链接（YouTube\u002FB 站）及代码示例。README 中未提供具体的代码运行环境配置、依赖库列表或硬件需求。用户需参考各章节对应的代码实现部分（如有）以获取具体技术栈信息。",[],[18],"2026-03-27T02:49:30.150509","2026-04-06T06:45:54.534359",[97,102,107,112,117,122],{"id":98,"question_zh":99,"answer_zh":100,"source_url":101},12811,"随机策略（Stochastic Policy）的公式中是否遗漏了对动作的求和符号？","是的，这是一个笔误。对于随机策略，动作确实应该被求和（summarized out），而在确定性策略中可以省略。该错误已在讲义中修正。","https:\u002F\u002Fgithub.com\u002Fzhoubolei\u002FintroRL\u002Fissues\u002F5",{"id":103,"question_zh":104,"answer_zh":105,"source_url":106},12812,"为什么课程幻灯片（Slides）的页面大小不一致，导致合并 PDF 时出现宽度问题？","这是因为部分章节（如 Chapter 1, 8, 9）使用的是 PPT 格式，而其他章节（Chapter 2-7）使用的是 Beamer (LaTeX) 格式，两者的本质和默认页面比例不同，因此造成了尺寸不一致。","https:\u002F\u002Fgithub.com\u002Fzhoubolei\u002FintroRL\u002Fissues\u002F3",{"id":108,"question_zh":109,"answer_zh":110,"source_url":111},12813,"第三周文件夹中找不到 Model-free 的幻灯片，是文件缺失吗？","文件并未缺失，原因是 README 文档中的超链接指向错误。请检查更新后的链接或直接在对应目录查找文件。","https:\u002F\u002Fgithub.com\u002Fzhoubolei\u002FintroRL\u002Fissues\u002F1",{"id":113,"question_zh":114,"answer_zh":115,"source_url":116},12814,"Lecture 5 幻灯片中的公式是否应该是 Q(s, a) 而不是当前显示的内容？","用户指出 Lecture 5 幻灯片中可能存在符号错误，建议此处应表示为 Q(s, a)。虽然维护者未直接回复确认，但此类符号混淆通常确认为笔误，建议以标准 Q 函数定义为准进行理解。","https:\u002F\u002Fgithub.com\u002Fzhoubolei\u002FintroRL\u002Fissues\u002F9",{"id":118,"question_zh":119,"answer_zh":120,"source_url":121},12815,"Lecture 2 第 16 号公式的推导或书写是否存在错误？","有用户质疑 Lecture 2 中公式 (16) 的正确性并提出了修正写法。鉴于课程讲义中已有多处类似的笔误被官方确认并修正（如 Lecture 2 其他部分及 Lecture 5），建议参考社区提出的修正版本或等待官方进一步确认，通常这类指数或求和范围的细节容易出错。","https:\u002F\u002Fgithub.com\u002Fzhoubolei\u002FintroRL\u002Fissues\u002F8",{"id":123,"question_zh":124,"answer_zh":125,"source_url":126},12816,"在哪里可以找到讲义中提到的其他细节问题的修正或讨论？","维护者已确认并修复了多位用户指出的讲义细节问题。如果遇到类似疑问，可以查看已有的 Issues 讨论（如关于中文版讲义的讨论），大部分明显的错误已被标记为 fixed 或在后续版本中更新。","https:\u002F\u002Fgithub.com\u002Fzhoubolei\u002FintroRL\u002Fissues\u002F4",[]]