Reinforcement-Learning-in-Robotics

513 63 困难 1 次阅读昨天MIT其他

AI 解读由 AI 自动生成，仅供参考

Reinforcement-Learning-in-Robotics 是一个专注于机器人领域强化学习技术的开源知识库与学习专栏。它旨在解决机器人智能控制中算法理论深奥、数学基础复杂以及从理论到实战落地困难的问题。通过系统化的内容梳理，该资源将复杂的强化学习、概率推理及表征学习知识拆解为通俗易懂的系列教程。

内容涵盖从神经网络反向传播、马尔可夫决策过程等基础理论，到 DQN、PPO、TD3 等主流算法的原理推导与代码实战；同时深入探讨了基于模型的强化学习（Model-based RL）、高斯过程、贝叶斯优化以及图神经网络在机器人推理中的应用。其独特亮点在于“理论 + 源码”的双重解读模式，不仅讲清楚算法背后的数学逻辑，还提供具体的 Python 实现路径，帮助学习者真正读懂并复现前沿技术。

这套资源非常适合机器人领域的研究人员、人工智能开发者以及希望深入理解智能控制原理的高校学生使用。对于想要跨越数学门槛、掌握机器人自主决策核心技术的从业者来说，Reinforcement-Learning-in-Robotics 提供了一条清晰且扎实的学习路径，是构建机器人“真实智能”的优质参考指南。

使用场景

某高校机器人实验室的研究团队正致力于开发一款能在非结构化环境中自主抓取不规则物体的机械臂，急需构建高效的强化学习控制策略。

没有 Reinforcement-Learning-in-Robotics 时

理论入门门槛极高：团队成员需在海量的学术论文中盲目摸索，难以系统理解从马尔可夫决策过程到 PPO、TD3 等核心算法的数学推导与内在联系。
复现代码耗时费力：缺乏标准的参考实现，研究人员需从零编写底层逻辑，常因对 Model-based RL 或概率推理（如高斯过程、MCMC 采样）的细节理解偏差导致实验失败。
知识体系碎片化：深度学习、概率机器人与逻辑推理等内容割裂，难以将“感知 - 决策 - 控制”串联成完整的智能闭环，导致研发周期严重滞后。

使用 Reinforcement-Learning-in-Robotics 后

系统化学习路径清晰：依托专栏中从神经网络基础到 SOTA 算法的十二讲进阶教程，团队迅速掌握了策略梯度与 Actor-Critic 架构的核心原理，统一了技术语言。
源码级实战参考丰富：直接参考 PILCO、MBPO 及各类 DQN 变种的详细原理解读与 Python 实现，大幅降低了模型构建难度，将算法验证时间缩短了 60%。
跨领域知识深度融合：通过概率推理与图神经网络等模块，团队成功将不确定性建模引入控制策略，显著提升了机械臂在复杂场景下的泛化能力与鲁棒性。

Reinforcement-Learning-in-Robotics 通过提供从理论推导到代码实战的全栈式知识图谱，将原本分散的科研难点转化为可落地的工程路径，加速了具身智能的研发进程。

运行环境要求

GPU

未说明

内存

未说明

依赖

notes该仓库主要是一个学习资料索引（专栏目录），包含强化学习、机器人学概率方法、元学习等主题的文章链接，本身不包含可直接运行的核心算法代码或安装包。文中提及的关联可运行项目为 'Rofunc'（用于人形机器人强化学习与模仿学习），但本 README 未提供 Rofunc 的具体环境配置要求。部分文章涉及 MuJoCo 仿真器及 Python 工具链（如 PyQt5），具体依赖需参考对应文章或子项目。

python未说明

Reinforcement-Learning-in-Robotics hero image

快速开始

#! https://zhuanlan.zhihu.com/p/143392167

如需转发，烦请邮件告知 junjialiu@sjtu.edu.cn

强化学习在机器人中的应用内容专栏目录

这是一个关于Reinforcement learning（强化学习）、Reasoning（推理）和Representation learning（表征学习）技术在Robotics（机器人学）中应用的私人文档库，旨在探索Real intelligence（真正智能）。

强化学习基础

神经网络基础：反向传播推导与卷积公式 [知乎]
强化学习基础 Ⅰ：马尔可夫与值函数 [知乎]
强化学习基础 Ⅱ：动态规划，蒙特卡洛，时序差分 [知乎]
强化学习基础 Ⅲ：on-policy, off-policy & Model-based, Model-free & Rollout [知乎]
强化学习基础 Ⅳ：State-of-the-art 强化学习经典算法汇总 [知乎]
强化学习基础 Ⅴ：Q learning 原理与实战 [知乎]
强化学习基础 Ⅵ：DQN 原理与实战 [知乎]
强化学习基础 Ⅶ：Double DQN & Dueling DQN 原理与实战 [知乎]
强化学习基础 Ⅷ：Vanilla Policy Gradient 策略梯度原理与实现 [知乎]
强化学习基础 Ⅸ：一文读懂 TRPO 原理与实现 [知乎]
强化学习基础 Ⅹ：一文读懂两种 PPO 原理与实现 [知乎]
强化学习基础 Ⅺ： Actor-Critic & A2C 原理与实现 [知乎]
强化学习基础 Ⅻ：DDPG 原理与实现 [知乎]
强化学习基础 XIII：Twin Delayed DDPG TD3原理与实现 [知乎]

基于模型的强化学习

Model-Based RL Ⅰ：Dyna, MVE & STEVE [知乎]
Model-Based RL Ⅱ：MBPO原理解读 [知乎]
Model-Based RL Ⅲ：从源码读懂PILCO [知乎]

机器人学中的概率方法

PR 序：机器人学的概率方法学习路径 [知乎]
PR Ⅰ：最大似然估计MLE与最大后验概率估计MAP [知乎]
PR Ⅱ：贝叶斯估计/推断及其与MAP的区别 [知乎]
PR Ⅲ：从高斯分布到高斯过程、高斯过程回归、贝叶斯优化 [知乎]
PR Ⅳ：贝叶斯神经网络 Bayesian Neural Network [知乎]
PR Ⅴ：熵、KL散度、交叉熵、JS散度及python实现 [知乎]
PR Ⅵ：多元连续高斯分布的KL散度及python实现 [知乎]
PR Sampling Ⅰ：蒙特卡洛采样、重要性采样及python实现 [知乎]
PR Sampling Ⅱ：马尔可夫链蒙特卡洛 MCMC及python实现 [知乎]
PR Sampling Ⅲ：M-H and Gibbs 采样 [知乎]
PR Structured Ⅰ：Graph Neural Network: An Introduction Ⅰ [知乎]
PR Structured Ⅱ：Structured Probabilistic Model 结构化概率模型 [知乎]
PR Structured Ⅲ：马尔可夫、隐马尔可夫 HMM 、条件随机场 CRF 全解析及其python实现 [知乎]
PR Structured Ⅳ：General / Graph Conditional Random Field (CRF) 及其 python 实现 [知乎]
PR Structured Ⅴ：GraphRNN——将图生成问题转化为序列生成 [知乎]
PR Reasoning 序：Reasoning Robotics 推理机器人学习路线与资源汇总 [知乎]
PR Reasoning Ⅰ：Bandit问题与 UCB / UCT / AlphaGo [知乎]
PR Reasoning Ⅱ：Relational Inductive bias 关系归纳偏置及其在深度学习中的应用 [知乎]
PR Reasoning Ⅲ：基于图表征的关系推理框架 —— Graph Network [知乎]
PR Reasoning Ⅳ：数理逻辑（命题逻辑、谓词逻辑）知识整理 [知乎]
PR Memory Ⅰ：Memory systems 2018 – towards a new paradigm 【重磅综述】记忆系统——神经科学的启示 [知乎]
PR Perspective Ⅰ：Embodied AI 的新浪潮 —— new generation of AI [知乎]
PR Perspective Ⅱ：2021/08/03 近期 Robot Learning 领域大事件及思考 [知乎]
PR Efficient Ⅰ：机器人中的数据高效强化学习 [知乎]
PR Efficient Ⅱ：Bayesian Transfer RL with prior knowledge [知乎]
PR Efficient Ⅲ：像训练狗狗一样高效地训练机器人 [知乎]
PR Efficient Ⅳ：五分钟内让四足机器人自主学会行走 [知乎]
PR Efficient Ⅴ：自预测表征，让RL agent高效地理解世界 [知乎]

元学习

Meta-Learning: An Introduction Ⅰ [知乎]
Meta-Learning: An Introduction Ⅱ [知乎]
Meta-Learning: An Introduction Ⅲ [知乎]

模仿学习

Imitation Learning Ⅰ：模仿学习 (Imitation Learning) 入门指南 [知乎]
Imitation Learning Ⅱ：DAgger透彻理论分析 [知乎]
Imitation Learning Ⅲ：EnsembleDAgger 一种贝叶斯DAgger [知乎]

从演示中学习的强化学习

RLfD Ⅰ：Deep Q-learning from Demonstrations 解读 [知乎]
RLfD Ⅱ：Reinforcement Learning from Imperfect Demonstrations under Soft Expert Guidance [知乎]

多智能体强化学习

MARL Ⅰ：A Selective Overview of Theories and Algorithms 【重磅综述】多智能体强化学习算法理论研究 [知乎]

论文阅读

主动视觉导航

阅读：利用物体关系的目标驱动视觉导航 [知乎]
阅读：Learning to learn how to learn-Meta自适应视觉导航 [知乎]
阅读：贝叶斯关系记忆在视觉导航中的应用 [知乎]
阅读：Attention+3D空间关系图在视觉导航中的应用 [知乎]
阅读：机器人导航的半参数化拓扑记忆结构 [知乎]
阅读：将Transformer应用到机器人视觉导航中 [知乎]

物理世界中的小数据/数据高效RL机器人技术

【重磅综述】如何在少量尝试下学习机器人强化学习控制 [知乎]

其他

无需奖励工程的端到端机器人强化学习：[Medium] [知乎]
利用示范克服强化学习中的探索问题：[Medium] [知乎]
The Predictron：端到端学习与规划：[知乎]
IROS2019论文速读（一） [知乎]
IROS2019论文速读（二） [知乎]
IROS2019论文速读（三） [知乎]
IROS2019论文速读（四） [知乎]

模拟器

工具

工具1：如何用PyQt5和Qt Designer在Pycharm中愉快地开发软件 [知乎]
工具2：Arxiv论文提交流程——看这篇就够了 [知乎]
工具3：Python socket服务器与客户端双向通信（服务器NAT，文件传输） [知乎]
工具4：Python三行转并行——真香！[知乎]
工具5：Python三行转并行后续——多进程全局变量 [知乎]

专栏关联Github代码库

Reinforcement-Learning-in-Robotics
Machine-Learning-is-ALL-You-Need

如果你对强化学习感兴趣，我们鼓励你查看我们在（人形）机器人领域最新的强化学习和模仿学习库。

许可证

仓库地址：https://github.com/Skylark0924/Rofunc

Reinforcement-Learning-in-Robotics 快速上手指南

本仓库是一个专注于机器人领域强化学习（RL）、推理及表征学习的私人学习资源库。它主要提供系统的理论教程、论文解读及相关代码实现，旨在帮助开发者从零开始掌握机器人智能控制的核心技术。

环境准备

在开始学习或使用相关代码前，请确保您的开发环境满足以下要求：

操作系统：推荐 Linux (Ubuntu 18.04/20.04) 或 macOS。Windows 用户建议使用 WSL2 以获得更好的兼容性。
Python 版本：Python 3.7 - 3.9（大多数 RL 库在此范围内支持最佳）。
前置依赖：
- PyTorch 或 TensorFlow（根据具体算法章节要求选择，目前主流多为 PyTorch）。
- MuJoCo：用于物理仿真（部分高级章节需要，需安装 mujoco-py 或 dm_control）。
- Gym / Gymnasium：强化学习环境接口。
- NumPy, SciPy, Matplotlib：基础科学计算与绘图。

提示：建议创建独立的虚拟环境以避免依赖冲突：
python -m venv rl_robot_env
source rl_robot_env/bin/activate  # Windows: rl_robot_env\Scripts\activate

安装步骤

本仓库主要包含学习笔记（知乎专栏链接）和关联的代码示例。核心代码库已模块化为 Rofunc，可通过以下方式安装：

1. 克隆学习仓库（获取笔记索引与部分脚本）

git clone https://github.com/Skylark0924/Reinforcement-Learning-in-Robotics.git
cd Reinforcement-Learning-in-Robotics

2. 安装核心功能库 (Rofunc)

这是作者封装的用于人形机器人强化学习与模仿学习的工具库，推荐通过 PyPI 安装（国内用户可使用清华源加速）：

# 使用 pip 直接安装
pip install rofunc

# 【推荐】国内用户使用清华镜像源加速安装
pip install rofunc -i https://pypi.tuna.tsinghua.edu.cn/simple

若需从源码安装以进行二次开发：

git clone https://github.com/Skylark0924/Rofunc.git
cd Rofunc
pip install -e .

基本使用

本项目的核心使用方式是**“理论学习 + 代码复现”**。您可以按照仓库目录中的知识路径（如强化学习基础、Model-based RL、概率机器人等）阅读对应的知乎专栏文章，并利用 Rofunc 库进行算法实践。

最简单的使用示例

以下示例展示如何导入 rofunc 库并查看其包含的强化学习算法模块（以 PPO 为例）：

import rofunc as rf

# 查看可用的 RL 算法
print(rf.rl.algorithms)

# 示例：初始化一个 PPO 配置 (具体参数需参考对应教程章节)
# 注意：实际运行通常需要配合 Gym 环境和 MuJoCo
config = {
    'algo': 'ppo',
    'env': 'HalfCheetah-v3',
    'hidden_sizes': [256, 256],
    'lr': 3e-4
}

# 创建训练器 (伪代码示意，具体 API 请参考 Rofunc 文档)
# trainer = rf.rl.Trainer(config)
# trainer.train()

print("Rofunc library loaded successfully. Ready to learn!")

学习路径建议

基础入门：从 Reinforcement Learning Foundation 章节开始，依次阅读神经网络基础至 PPO、DDPG 等经典算法原理。
进阶提升：进入 Model-based RL 和 Probabilistic in Robotics 章节，深入理解基于模型的规划和概率推断方法。
实战演练：结合 Simulator 章节的 MuJoCo 建模指南，在仿真环境中复现 Paper Reading 中提到的前沿算法。
工具辅助：利用 Tools 章节提供的 Python 并行加速、数据可视化等技巧优化训练流程。

注意：具体的算法实现细节、数学推导及完整代码片段，请务必结合各章节对应的知乎专栏链接进行深入研读。

相似工具推荐

ML-For-Beginners

ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。

★ 85.1k|★★☆☆☆|3天前

图像数据工具视频

funNLP

funNLP 是一个专为中文自然语言处理（NLP）打造的超级资源库，被誉为"NLP 民工的乐园”。它并非单一的软件工具，而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点，funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具，还独特地收录了丰富的垂直领域资源，如法律、医疗、金融行业的专用词库与数据集，甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性，从基础的字典词典到前沿的 BERT、GPT-2 模型代码，再到高质量的标注数据和竞赛方案，应有尽有。无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师，还是从事人工智能研究的学者，都能在这里找到急需的“武器弹药”。对于开发者而言，它能大幅减少寻找数据和复现模型的时间；对于研究者，它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神，极大地降低了中文自然语言处理的开发与研究成本，是中文 AI 社区不可或缺的宝藏仓库。

★ 79.9k|★☆☆☆☆|4天前

语言模型数据工具其他

cs-video-courses

cs-video-courses 是一个精心整理的计算机科学视频课程清单，旨在为自学者提供系统化的学习路径。它汇集了全球知名高校（如加州大学伯克利分校、新南威尔士大学等）的完整课程录像，涵盖从编程基础、数据结构与算法，到操作系统、分布式系统、数据库等核心领域，并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。面对网络上零散且质量参差不齐的教学资源，cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容，仅收录真正的大学层级课程，排除了碎片化的简短教程或商业广告，确保用户能接触到严谨的学术内容。这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员，以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽，不仅包含传统的软件工程与网络安全，还细分了生成式 AI、大语言模型、计算生物学等新兴学科，并直接链接至官方视频播放列表，让用户能一站式获取高质量的教育资源，免费享受世界顶尖大学的课堂体验。

★ 79.8k|★☆☆☆☆|4天前

其他图像数据工具

ragflow

RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。

★ 77.1k|★★★☆☆|1周前

Agent图像开发框架

PaddleOCR

PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。

★ 75.4k|★★★☆☆|今天

语言模型图像开发框架

awesome-machine-learning

awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。

★ 72.1k|★☆☆☆☆|1周前

开发框架其他