awesome-isaac-gym
awesome-isaac-gym 是一个精心整理的资源合集,专为 NVIDIA Isaac Gym 生态打造。Isaac Gym 是英伟达推出的高性能机器人学习平台,其核心优势在于利用 GPU 进行大规模并行物理仿真,能同时在单个显卡上运行数千个机器人环境,从而极大加速强化学习训练过程。
这份清单主要解决了研究人员和开发者在入门及使用过程中“资源分散、难以查找”的痛点。它系统性地汇集了官方文档、安装指南、基础教程、前沿学术论文(涵盖机械臂操作、足式机器人运动控制等方向)以及社区开发的工具库和实战案例。从最新的 Isaac Lab 框架到经典的 Sim-to-Real(仿真到现实)迁移研究,用户都能在此找到对应的链接与代码实现。
该资源非常适合机器人领域的科研人员、算法工程师以及高校学生使用。无论是希望快速搭建实验环境的新手,还是追踪最新技术进展的资深专家,都能通过 awesome-isaac-gym 高效获取所需信息。其独特的价值在于不仅提供了基础学习资料,更持续更新包括 HumanoidVerse 在内的多模拟器框架和顶级会议论文复现项目,帮助用户紧跟基于 GPU 加速的机器人学习技术前沿,降低探索成本,提升研发效率。
使用场景
某机器人实验室团队正致力于训练一个人形机器人在复杂地形中实现稳定行走,需要快速复现前沿算法并搭建高效的强化学习仿真环境。
没有 awesome-isaac-gym 时
- 资源分散难寻:团队成员需在 GitHub、arXiv 和各类论坛中大海捞针,花费数周时间才凑齐零散的 Isaac Gym 教程、核心论文和代码库。
- 环境配置踩坑:缺乏统一的安装指引和版本对照表,成员在配置 GPU 加速环境和 PhysX 依赖时频繁报错,导致项目启动严重滞后。
- 复现成本高昂:找不到经过验证的基准项目(如 HumanoidVerse 或 Isaac Lab),从零编写仿真逻辑不仅耗时,还容易因物理参数设置不当导致训练失败。
- 技术迭代脱节:难以及时获取最新的社区工具和研究进展,团队使用的框架版本陈旧,无法利用最新的并行训练特性提升效率。
使用 awesome-isaac-gym 后
- 一站式资源聚合:直接通过分类清晰的清单获取官方文档、精选论文及开源代码,将前期调研时间从数周缩短至几天。
- 平滑上手体验:依据"Getting Started"中的权威指南和常见问题解答,迅速完成环境部署,避免了兼容性陷阱,让团队当天即可运行首个 Demo。
- 高效基准复用:直接集成列表中推荐的模块化框架(如 Isaac Lab)和成熟案例,基于现有高质量代码进行二次开发,大幅降低算法验证门槛。
- 紧跟前沿动态:实时追踪"Latest Releases"板块中更新的工具链(如 PhysX 5 SDK),确保仿真环境始终处于性能最优状态,加速模型收敛。
awesome-isaac-gym 通过将碎片化的生态资源系统化,让人形机器人研发团队从繁琐的环境搭建中解放出来,专注于核心算法的创新与落地。
运行环境要求
- Linux
必需 NVIDIA GPU (支持 CUDA),具体型号和显存未说明 (基于 PhysX 5 和 GPU 加速特性,通常推荐 RTX 30/40 系列或更高)
未说明

快速开始
令人惊叹的 NVIDIA Isaac Gym 🤖
这是一份精心整理的资源合集,专注于 NVIDIA Isaac Gym——一个基于 GPU 的高性能物理仿真环境,专为机器人学习而设计。
🎯 快速链接
📋 目录
🚀 最新发布
2024年3月: HumanoidVerse - 用于人形机器人学习的多仿真器框架 (GitHub)
2024年2月: Isaac Lab - 一个统一且模块化的机器人学习框架 (官网)
2024年2月: PhysX 5 SDK 发布 (GitHub)
2022年2月: Isaac Gym 预览版 4 (1.3.0)
2021年10月: Isaac Gym 预览版 3
2021年6月: NVIDIA Isaac Sim 在 Omniverse 上的公开测试版
2022年3月23日: GTC 2022 会议 — Isaac Gym: 下一代 — Omniverse 中的高性能强化学习。
Isaac Gym 概述: Isaac Gym 会话。
GTC 春季 2021: Isaac Gym: 端到端 GPU 加速的强化学习。
🎓 入门指南
安装与设置
基本概念
📚 官方资源
核心文档
学习资源
📖 学习资料
教程
来自 RSS 2021 研讨会的综合教程系列:
- 简介与入门
- 环境、训练与技巧
- 学术实验室系列:
- GPU 加速强化学习的新前沿
- lycheeai-hub
视频指南
我们能模拟一台真实的机器人吗? — 一段寻找高质量物理模拟器来模拟四足机器人的旅程。
通过强化学习教机器人行走 — 一场关于机器人模拟的冒险,内容涵盖使用 Bittle 机器人进行强化学习。
机器狗学会走路 — Bittle 强化学习第 3 部分 — 在训练四足机器人行走方面取得进一步进展。
Isaac Sim GTC 2021 — 从仿真到现实: 使用 Isaac Sim 进行仿真到现实迁移的专题讨论。
Isaac Sim 视频教程: 官方视频教程。
在 NVIDIA Isaac Sim 中训练 JetBot: 关于使用 Isaac Sim 训练 JetBot 的指南。
使用 NVIDIA Isaac Sim 训练 NVIDIA JetBot 避免碰撞: 关于碰撞避免训练的博客文章。
介绍 NVIDIA Isaac Gym:面向机器人技术的端到端强化学习: Isaac Gym 的介绍。
借助 NVIDIA Omniverse Isaac Sim 加速机器人仿真: 关于将 Omniverse 与 Isaac Sim 结合使用的博客文章。
使用 NVIDIA Isaac SDK 用 Python 开发机器人应用: 关于使用 Isaac SDK 与 Python 结合的指南。
使用 NVIDIA Isaac SDK 构建智能机器狗: 构建机器狗的教程。
NVIDIA Omniverse YouTube 频道: 官方频道,提供各类教程和演示。
[ICRA2021] 基于物理的仿真和学习的潜在投影用于机器人触觉感知的仿真到现实迁移:论文
[2021] DeformerNet:一种用于 3D 可变形物体操作的深度学习方法:论文
行走运动
[RSS2022] 通过强化学习实现快速行走:论文,OpenReview,代码
[CoRL2021] 使用大规模并行深度强化学习在几分钟内学会行走:论文,OpenReview,代码,项目
[RAL2021] 学习状态表示及在杂乱动态环境中的导航:论文
HumanoidVerse: 用于人形机器人学习的多模拟器框架(2024年)
- 支持多种模拟器(Isaac Gym、Flex、MuJoCo)
- 包含多样化的人形机器人模型和环境
- 提供全面的基准测试工具
- 能够在不同模拟器上高效地进行并行训练
HIMLoco: 用于稳健人形机器人行走的层次模仿学习(2024年)
- 论文
- 具有层次模仿学习框架
- 能够在复杂环境中实现稳健的人形机器人行走
- 已成功应用于实际场景
ASAP: 对齐仿真与真实物理,用于学习敏捷的人形全身技能(2025年)
- 论文
- 采用两阶段框架实现仿真到现实的迁移
- 能够实现高度敏捷的人形动作,如踢腿和跳跃
- 已成功部署在 Unitree G1 真实人形机器人上
- 相较于 SysID 和 DR 基线有显著提升
博客
📑 研究论文
核心论文
- Isaac Gym:高性能 GPU 加速物理仿真(NeurIPS 2021)
机器人操控
RLAfford: “RLAfford:基于强化学习的端到端效用学习”官方实现,ICRA 2023。
面向机器人的掩码视觉预训练(MVP): MVP项目的代码库。
Factory:用于机器人装配的快速接触建模: RSS 2022。
ASE:对抗性技能嵌入: SIGGRAPH 2022。
数据驱动的操作空间控制(OSCAR): 自适应且鲁棒的机器人操作。
DefGraspSim:基于仿真的人工抓取可变形物体: 基于仿真的可变形物体抓取。
手持物体位姿跟踪: ICRA 2021。
STORM:用于反应式操作的快速关节空间模型预测控制: CoRL 2021。
用于机器人操作策略的仿真因果推理: ICRA 2021。
反应式长 horizon 任务执行: IROS 2021。
RoboDuet: 学习全身足式运动与操作协作策略(2024年)
Kitchen Worlds: 厨房场景中的长 horizon 任务与运动规划(TAMP)(2024年)
定位与控制
HumanoidVerse: 用于类人机器人学习的多仿真框架(2024年)
- 支持多种仿真器(Isaac Gym、Flex、MuJoCo)
- 包含多样化的类人机器人模型和环境
- 提供全面的基准测试工具
- 实现跨仿真器的高效并行训练
HIMLoco: 用于鲁棒类人机器人步态的分层模仿学习(2024年)
- 论文
- 采用分层模仿学习框架
- 实现复杂环境下类人机器人的稳健行走
- 已成功应用于实际场景
ASAP: 对齐仿真与真实物理以学习敏捷的类人机器人全身技能(2025年)
- 论文
- 采用两阶段的仿真到现实迁移框架
- 可实现高敏捷性的类人机器人动作,如踢腿和跳跃
- 已成功部署在真实的Unitree G1类人机器人上
- 相较于SysID和DR基线有显著提升
利用大规模并行深度强化学习在几分钟内学会行走: CoRL 2021。
动力学随机化再探: 四足机器人步态案例研究。
学习接触自适应控制器: 用于鲁棒高效的足式行走。
学习状态表示与导航: 适用于杂乱且动态的环境。
其他
- BayesSimIG: 基于Isaac Gym的自适应领域随机化中的可扩展参数推断。
- Isaac Gym:高性能GPU加速物理仿真: NeurIPS 2021。
- 学习游泳: 针对推进器驱动AUV的六自由度强化学习控制。
- MarineGym:基于高保真强化学习仿真的水下航行器加速训练: 基于Issac Sim。
- space_robotics_bench 空间机器人基准测试平台。
- Humanoid-Gym: 类人机器人强化学习,支持零样本仿真到现实迁移。
🛠 工具与库
强化学习框架
相关 GitHub 仓库
isaacgym-utils:由 CMU 智能自主操作实验室开发
thormang3-gogoro-PPO:使用 RL-PPO 和 NVIDIA Isaac Gym 对两轮车辆进行基于转向的控制
社区项目
- IsaacGymEnvs: 官方 Isaac Gym 强化学习环境。
- isaacgym_hammering: 锤击任务实现。
- isaacgym-utils: CMU 智能自主操作实验室提供的工具集。
- isaacgym_sandbox: Isaac Gym 实验沙盒。
- thormang3-gogoro-PPO: 使用 PPO 控制两轮车辆。
- Bez_IsaacGym: 用于人形机器人 Bez 的环境。
- DexterousHands: 双手灵巧操作任务。
- legged_gym_isaac: 在 Isaac Gym 中模拟的足式机器人。
- shifu: 适用于任何机器人的环境构建工具。
- Rofunc: 用于机器人示教学习的 Python 包。
- Dofbot Reacher: Dofbot 的 Sim2Real 环境。
- UR10 Reacher: UR10 的 Sim2Real 环境。
- TimeChamber: 大规模并行自我博弈框架。
- RL-MPC-Locomotion: 四足机器人运动的深度强化学习。
- Isaac_Underwater: 使用 NVIDIA Isaac Sim 进行水上和水下测试。
- VRKitchen2.0-IndoorKit: Omniverse IndoorKit 扩展。
- agibot_x1_train: AgiBot X1 的强化学习训练代码。
会议环节与演讲
- Isaac Gym 和 Omniverse:高性能强化学习的演进 [A31118]
- 四足机器人挑战性任务的学习:从仿真到现实 [A31308]
- Isaac Sim 中的 Sim-to-Real
- Isaac Gym:端到端 GPU 加速的强化学习
- 弥合 Sim2Real 差距:用于训练深度学习机器人感知模型的仿真调优
- 强化学习与内部物流
- 使用 NVIDIA Isaac SDK 构建机器人应用
- NVIDIA Isaac Sim — 令人惊叹的机器人模型和任务
- Omniverse View 2021.2 — 应用程序巡览
- ISAAC SIM 介绍与现场演示
- NVIDIA 按需 ISAAC SIM 会话
🤖 自动化研究更新
- 数据来源:arXiv 上关于 "isaac gym"、"omni isaac" 和 "isaac lab" 的查询结果。
- 更新时间:每天 UTC 时间 09:00,或通过 Actions "Research Bot" 手动触发。
- 输出内容:位于本 README 中 'research-bot:start' 和 'research-bot:end' 标记之间的更新内容。
- 安全机制:系统会打开一个标记为 "needs-approval" 的草稿 PR;不会自动合并任何更改。
- 配置:编辑
.research-bot.yaml文件以调整查询条件和限制。
🌟 贡献说明
欢迎各位贡献!请在提交拉取请求之前阅读我们的 贡献指南。
📄 许可证
本仓库采用 MIT 许可证授权——详情请参阅 LICENSE 文件。
🙏 致谢
特别感谢所有贡献者以及 NVIDIA Isaac 团队,正是他们让这些资源得以向机器人社区开放。
🧠 最新研究(自动更新)
- HumanoidVerse:一种用于视觉-语言引导的多物体重排任务的多功能人形机器人 — Haozhuo Zhang, Jingkai Sun, Michele Caprio 等 (2025年8月23日) pdf
常见问题
相似工具推荐
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程,旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周,包含 26 节精炼课程和 52 道配套测验,内容涵盖从基础概念到实际应用的完整流程,有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员,还是对人工智能充满好奇的普通爱好者,都能从中受益。课程不仅提供了清晰的理论讲解,还强调动手实践,让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持,通过自动化机制提供了包括简体中文在内的 50 多种语言版本,极大地降低了全球不同背景用户的学习门槛。此外,项目采用开源协作模式,社区活跃且内容持续更新,确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路,ML-For-Beginners 将是理想的起点。
funNLP
funNLP 是一个专为中文自然语言处理(NLP)打造的超级资源库,被誉为"NLP 民工的乐园”。它并非单一的软件工具,而是一个汇集了海量开源项目、数据集、预训练模型和实用代码的综合性平台。 面对中文 NLP 领域资源分散、入门门槛高以及特定场景数据匮乏的痛点,funNLP 提供了“一站式”解决方案。这里不仅涵盖了分词、命名实体识别、情感分析、文本摘要等基础任务的标准工具,还独特地收录了丰富的垂直领域资源,如法律、医疗、金融行业的专用词库与数据集,甚至包含古诗词生成、歌词创作等趣味应用。其核心亮点在于极高的全面性与实用性,从基础的字典词典到前沿的 BERT、GPT-2 模型代码,再到高质量的标注数据和竞赛方案,应有尽有。 无论是刚刚踏入 NLP 领域的学生、需要快速验证想法的算法工程师,还是从事人工智能研究的学者,都能在这里找到急需的“武器弹药”。对于开发者而言,它能大幅减少寻找数据和复现模型的时间;对于研究者,它提供了丰富的基准测试资源和前沿技术参考。funNLP 以开放共享的精神,极大地降低了中文自然语言处理的开发与研究成本,是中文 AI 社区不可或缺的宝藏仓库。
cs-video-courses
cs-video-courses 是一个精心整理的计算机科学视频课程清单,旨在为自学者提供系统化的学习路径。它汇集了全球知名高校(如加州大学伯克利分校、新南威尔士大学等)的完整课程录像,涵盖从编程基础、数据结构与算法,到操作系统、分布式系统、数据库等核心领域,并深入延伸至人工智能、机器学习、量子计算及区块链等前沿方向。 面对网络上零散且质量参差不齐的教学资源,cs-video-courses 解决了学习者难以找到成体系、高难度大学级别课程的痛点。该项目严格筛选内容,仅收录真正的大学层级课程,排除了碎片化的简短教程或商业广告,确保用户能接触到严谨的学术内容。 这份清单特别适合希望夯实计算机基础的开发者、需要补充特定领域知识的研究人员,以及渴望像在校生一样系统学习计算机科学的自学者。其独特的技术亮点在于分类极其详尽,不仅包含传统的软件工程与网络安全,还细分了生成式 AI、大语言模型、计算生物学等新兴学科,并直接链接至官方视频播放列表,让用户能一站式获取高质量的教育资源,免费享受世界顶尖大学的课堂体验。
ragflow
RAGFlow 是一款领先的开源检索增强生成(RAG)引擎,旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体(Agent)能力相结合,不仅支持从各类文档中高效提取知识,还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中,幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构(如表格、图表及混合排版),显著提升了信息检索的准确度,从而有效减少模型“胡编乱造”的现象,确保回答既有据可依又具备时效性。其内置的智能体机制更进一步,使系统不仅能回答问题,还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统,还是致力于探索大模型在垂直领域落地的创新者,都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口,既降低了非算法背景用户的上手门槛,也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目,它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来,转换成计算机可读取的结构化数据,让机器真正“看懂”图文内容。 面对海量纸质或电子文档,PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域,它扮演着连接图像与大型语言模型(LLM)的桥梁角色,能将视觉信息直接转化为文本输入,助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显:不仅支持全球 100 多种语言的识别,还能在 Windows、Linux、macOS 等多个系统上运行,并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目,PaddleOCR 既能满足快速集成的需求,也能支撑前沿的视觉语言研究,是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单,汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点,这份清单按编程语言(如 Python、C++、Go 等)和应用场景(如计算机视觉、自然语言处理、深度学习等)进行了系统化分类,帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库,还是资深工程师对比不同语言的技术选型,都能从中获得极具价值的参考。此外,清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源,构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准:明确标记已停止维护或长期未更新的项目,确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”,awesome-machine-learning 以开源协作的方式持续更新,旨在降低技术探索门槛,让每一位从业者都能高效地站在巨人的肩膀上创新。