humanplus
HumanPlus 是一个面向人形机器人研究的开源项目，旨在让人形机器人能够像影子一样实时跟随人类动作，并模仿人类完成复杂的全身任务。它主要解决了传统机器人在非结构化环境中难以精准理解并复现人类自然行为的问题，特别是如何将人类的全身姿态（包括手部细节）高效迁移到机器人控制中。
该项目适合机器人领域的研究人员、算法工程师以及高校开发者使用。其核心包含两大技术模块：人形跟随变换器（HST）和人形模仿变换器（HIT）。HST 基于强化学习，在仿真环境中训练机器人稳健地跟踪人类运动；HIT 则利用模仿学习，结合真实世界数据，让机器人学会如折叠衣物等精细操作。技术亮点在于采用了 Transformer 架构处理序列决策，并整合了 WHAM 和 HaMeR 等先进算法，实现了对人体及手部的高精度姿态估计。此外，项目还提供了完整的硬件部署代码，支持将训练好的策略直接应用于宇树（Unitree）等真实机器人平台，打通了从仿真训练到真机落地的全流程。
使用场景
某具身智能实验室正致力于让人形机器人快速掌握“折叠衣物”这类复杂的生活技能，以验证其在家庭服务场景中的实用性。
没有 humanplus 时
- 动作生成困难：传统强化学习难以在仿真中收敛出拟人化的全身协调动作，机器人行走时步态僵硬，手臂摆动不自然。
- 虚实迁移鸿沟：在模拟器中训练好的策略直接部署到真机时，因物理参数差异导致机器人频繁摔倒或动作失控。
- 示教数据浪费：虽然采集了大量人类演示视频，但缺乏高效算法将人类的视觉姿态直接映射为机器人的关节控制指令。
- 开发周期漫长：工程师需花费数周时间手工调整奖励函数和底层控制器，才能勉强让机器人完成简单的站立任务。
使用 humanplus 后
- 影子跟随流畅：利用 HST（Shadowing Transformer）在仿真中进行强化学习，机器人能像影子一样精准复刻人类的全身动态，步态自然且平衡性强。
- 无缝真机部署：通过 HIT（Imitation Transformer）进行模仿学习，直接将人类折叠衣物的视频数据转化为控制策略，实现了从仿真到现实（Sim-to-Real）的零样本迁移。
- 端到端技能习得：结合 WHAM 和 HaMeR 的高精度姿态估计，humanplus 能自动解析人类手部和身体姿态，让机器人快速学会复杂的操作任务而无需手工编码规则。
- 研发效率倍增：团队仅需少量演示数据即可在数小时内训练出新策略，将原本数周的调试工作缩短至几天，大幅加速了算法迭代。
humanplus 通过“仿真影子跟随 + 现实模仿学习”的双阶段架构，彻底打通了从人类视频数据到人形机器人灵巧操作的自动化闭环。
运行环境要求
- Linux
- 必需 NVIDIA GPU
- HST 模块需支持 IsaacGym v4 (通常要求 CUDA 11+)
- Hardware 模块针对 NVIDIA Jetson 平台 (JetPack 4.6.1)
- 具体显存大小未说明，但深度学习训练通常建议 8GB+
未说明
快速开始
HumanPlus：人形机器人的人类跟随与模仿
项目官网：https://humanoid-ai.github.io/
本仓库包含人形机器人跟随Transformer（HST）和人形机器人模仿Transformer（HIT）的更新实现，以及全身姿态估计的说明和相关的硬件代码库。
人形机器人跟随Transformer（HST）
仿真环境中的强化学习基于legged_gym和rsl_rl。
安装
首先从官方源安装IsaacGym v4，并将isaacgym文件夹放置在HST文件夹内。
cd HST/rsl_rl && pip install -e .
cd HST/legged_gym && pip install -e .
示例用法
训练HST：
python legged_gym/scripts/train.py --run_name 0001_test --headless --sim_device cuda:0 --rl_device cuda:0
播放已训练好的策略：
python legged_gym/scripts/play.py --run_name 0001_test --checkpoint -1 --headless --sim_device cuda:0 --rl_device cuda:0
人形机器人模仿Transformer（HIT）
现实世界中的模仿学习基于ACT仓库和Mobile ALOHA仓库。
安装
conda create -n HIT python=3.8.10
conda activate HIT
pip install torchvision
pip install torch
pip install pyquaternion
pip install pyyaml
pip install rospkg
pip install pexpect
pip install mujoco==2.3.7
pip install dm_control==1.0.14
pip install opencv-python
pip install matplotlib
pip install einops
pip install packaging
pip install h5py
pip install ipython
pip install getkey
pip install wandb
pip install chardet
pip install h5py_cache
cd HIT/detr && pip install -e .
示例用法
收集您自己的数据，或从这里下载我们的数据集，并将其放置在HIT文件夹中。
要设置一个新的终端，请运行：
conda activate HIT
cd HIT
训练HIT：
# 折叠衣物任务
python imitate_episodes_h1_train.py --task_name data_fold_clothes --ckpt_dir fold_clothes/ --policy_class HIT --chunk_size 50 --hidden_dim 512 --batch_size 48 --dim_feedforward 512 --lr 1e-5 --seed 0 --num_steps 100000 --eval_every 100000 --validate_every 1000 --save_every 10000 --no_encoder --backbone resnet18 --same_backbones --use_pos_embd_image 1 --use_pos_embd_action 1 --dec_layers 6 --gpu_id 0 --feature_loss_weight 0.005 --use_mask --data_aug --wandb
硬件代码库
硬件代码库基于unitree_ros2。
安装
conda create -n lowlevel python=3.8
conda activate lowlevel
安装torch==1.11.0和torchvision==0.12.0： 请参考以下链接： https://forums.developer.nvidia.com/t/pytorch-for-jetson/72048 https://docs.nvidia.com/deeplearning/frameworks/install-pytorch-jetson-platform/index.html
示例用法
将您训练好的策略放入hardware-script/ckpt文件夹，并重命名为policy.pt
conda activate lowlevel
cd hardware-script
python hardware_whole_body.py --task_name stand
姿态估计
相似工具推荐
ML-For-Beginners
ML-For-Beginners 是由微软推出的一套系统化机器学习入门课程，旨在帮助零基础用户轻松掌握经典机器学习知识。这套课程将学习路径规划为 12 周，包含 26 节精炼课程和 52 道配套测验，内容涵盖从基础概念到实际应用的完整流程，有效解决了初学者面对庞大知识体系时无从下手、缺乏结构化指导的痛点。 无论是希望转型的开发者、需要补充算法背景的研究人员，还是对人工智能充满好奇的普通爱好者，都能从中受益。课程不仅提供了清晰的理论讲解，还强调动手实践，让用户在循序渐进中建立扎实的技能基础。其独特的亮点在于强大的多语言支持，通过自动化机制提供了包括简体中文在内的 50 多种语言版本，极大地降低了全球不同背景用户的学习门槛。此外，项目采用开源协作模式，社区活跃且内容持续更新，确保学习者能获取前沿且准确的技术资讯。如果你正寻找一条清晰、友好且专业的机器学习入门之路，ML-For-Beginners 将是理想的起点。
ragflow
RAGFlow 是一款领先的开源检索增强生成（RAG）引擎，旨在为大语言模型构建更精准、可靠的上下文层。它巧妙地将前沿的 RAG 技术与智能体（Agent）能力相结合，不仅支持从各类文档中高效提取知识，还能让模型基于这些知识进行逻辑推理和任务执行。 在大模型应用中，幻觉问题和知识滞后是常见痛点。RAGFlow 通过深度解析复杂文档结构（如表格、图表及混合排版），显著提升了信息检索的准确度，从而有效减少模型“胡编乱造”的现象，确保回答既有据可依又具备时效性。其内置的智能体机制更进一步，使系统不仅能回答问题，还能自主规划步骤解决复杂问题。 这款工具特别适合开发者、企业技术团队以及 AI 研究人员使用。无论是希望快速搭建私有知识库问答系统，还是致力于探索大模型在垂直领域落地的创新者，都能从中受益。RAGFlow 提供了可视化的工作流编排界面和灵活的 API 接口，既降低了非算法背景用户的上手门槛，也满足了专业开发者对系统深度定制的需求。作为基于 Apache 2.0 协议开源的项目，它正成为连接通用大模型与行业专有知识之间的重要桥梁。
PaddleOCR
PaddleOCR 是一款基于百度飞桨框架开发的高性能开源光学字符识别工具包。它的核心能力是将图片、PDF 等文档中的文字提取出来，转换成计算机可读取的结构化数据，让机器真正“看懂”图文内容。 面对海量纸质或电子文档，PaddleOCR 解决了人工录入效率低、数字化成本高的问题。尤其在人工智能领域，它扮演着连接图像与大型语言模型（LLM）的桥梁角色，能将视觉信息直接转化为文本输入，助力智能问答、文档分析等应用场景落地。 PaddleOCR 适合开发者、算法研究人员以及有文档自动化需求的普通用户。其技术优势十分明显：不仅支持全球 100 多种语言的识别，还能在 Windows、Linux、macOS 等多个系统上运行，并灵活适配 CPU、GPU、NPU 等各类硬件。作为一个轻量级且社区活跃的开源项目，PaddleOCR 既能满足快速集成的需求，也能支撑前沿的视觉语言研究，是处理文字识别任务的理想选择。
awesome-machine-learning
awesome-machine-learning 是一份精心整理的机器学习资源清单，汇集了全球优秀的机器学习框架、库和软件工具。面对机器学习领域技术迭代快、资源分散且难以甄选的痛点，这份清单按编程语言（如 Python、C++、Go 等）和应用场景（如计算机视觉、自然语言处理、深度学习等）进行了系统化分类，帮助使用者快速定位高质量项目。 它特别适合开发者、数据科学家及研究人员使用。无论是初学者寻找入门库，还是资深工程师对比不同语言的技术选型，都能从中获得极具价值的参考。此外，清单还延伸提供了免费书籍、在线课程、行业会议、技术博客及线下聚会等丰富资源，构建了从学习到实践的全链路支持体系。 其独特亮点在于严格的维护标准：明确标记已停止维护或长期未更新的项目，确保推荐内容的时效性与可靠性。作为机器学习领域的“导航图”，awesome-machine-learning 以开源协作的方式持续更新，旨在降低技术探索门槛，让每一位从业者都能高效地站在巨人的肩膀上创新。
scikit-learn
scikit-learn 是一个基于 Python 构建的开源机器学习库，依托于 SciPy、NumPy 等科学计算生态，旨在让机器学习变得简单高效。它提供了一套统一且简洁的接口，涵盖了从数据预处理、特征工程到模型训练、评估及选择的全流程工具，内置了包括线性回归、支持向量机、随机森林、聚类等在内的丰富经典算法。 对于希望快速验证想法或构建原型的数据科学家、研究人员以及 Python 开发者而言，scikit-learn 是不可或缺的基础设施。它有效解决了机器学习入门门槛高、算法实现复杂以及不同模型间调用方式不统一的痛点，让用户无需重复造轮子，只需几行代码即可调用成熟的算法解决分类、回归、聚类等实际问题。 其核心技术亮点在于高度一致的 API 设计风格，所有估算器（Estimator）均遵循相同的调用逻辑，极大地降低了学习成本并提升了代码的可读性与可维护性。此外，它还提供了强大的模型选择与评估工具，如交叉验证和网格搜索，帮助用户系统地优化模型性能。作为一个由全球志愿者共同维护的成熟项目，scikit-learn 以其稳定性、详尽的文档和活跃的社区支持，成为连接理论学习与工业级应用的最
keras
Keras 是一个专为人类设计的深度学习框架，旨在让构建和训练神经网络变得简单直观。它解决了开发者在不同深度学习后端之间切换困难、模型开发效率低以及难以兼顾调试便捷性与运行性能的痛点。 无论是刚入门的学生、专注算法的研究人员，还是需要快速落地产品的工程师，都能通过 Keras 轻松上手。它支持计算机视觉、自然语言处理、音频分析及时间序列预测等多种任务。 Keras 3 的核心亮点在于其独特的“多后端”架构。用户只需编写一套代码，即可灵活选择 TensorFlow、JAX、PyTorch 或 OpenVINO 作为底层运行引擎。这一特性不仅保留了 Keras 一贯的高层易用性，还允许开发者根据需求自由选择：利用 JAX 或 PyTorch 的即时执行模式进行高效调试，或切换至速度最快的后端以获得最高 350% 的性能提升。此外，Keras 具备强大的扩展能力，能无缝从本地笔记本电脑扩展至大规模 GPU 或 TPU 集群，是连接原型开发与生产部署的理想桥梁。