TienKung-Lab: 直接面向TienKung的IsaacLab工作流

概述

动作	AMP动画	传感器	RL + AMP	Sim2Sim
步行
跑步

本框架是一个基于强化学习的全尺寸人形机器人TienKung的运动控制系统。它将AMP风格的奖励与周期性步态奖励相结合，从而实现自然、稳定且高效的步行和跑步行为。

该代码库基于IsaacLab构建，支持从IsaacSim到MuJoCo的Sim2Sim迁移，并采用模块化架构，便于无缝定制和扩展。此外，它还集成了基于光线投射的传感器以增强感知能力，从而实现精确的环境交互和障碍物规避。该框架已在真实的TienKung机器人上成功验证。

待办事项

• 支持动作重定向 2025-09-27
• 添加Sim2Real演示 2025-11-07
• 添加部署仓库的超链接 2025-11-19
• 添加更多传感器
• 添加感知控制

安装

TienKung-Lab基于IsaacSim 4.5.0和IsaacLab 2.1.0构建。

• 按照安装指南安装Isaac Lab。我们建议使用conda安装方式，因为它可以简化从终端调用Python脚本的过程。

• 将本仓库单独克隆，不要与Isaac Lab安装目录合并（即不在IsaacLab目录内）。

• 使用已安装Isaac Lab的Python解释器安装库：

cd TienKung-Lab
pip install -e .

• 安装rsl-rl库：

cd TienKung-Lab/rsl_rl
pip install -e .

• 通过运行以下命令验证扩展是否正确安装：

python legged_lab/scripts/train.py --task=walk  --logger=tensorboard --headless --num_envs=64

使用方法

动作重定向

AMASS	GMR	TIENKUNGLAB

本节使用GMR进行动作重定向。目前，TienKung仅支持SMPLX类型的动作重定向（AMASS、OMOMO）。

1. 准备数据集并使用GMR进行动作重定向。

python scripts/smplx_to_robot.py --smplx_file <smplx数据路径> --robot tienkung  --save_path <保存机器人数据路径.pkl>

2. 数据处理与保存。

数据集分为两个部分，功能和格式各不相同，需要分两步转换。

• motion_visualization/
  用于通过play_amp_animation.py播放动作，以检查动作的正确性和质量。
  数据字段： [root_pos, root_rot, dof_pos, root_lin_vel, root_ang_vel, dof_vel]

• motion_amp_expert/
  在训练过程中作为AMP的专家参考数据使用。
  数据字段： [dof_pos, dof_vel, end-effector pos]

• 第一步：数据处理与可视化数据保存。

python legged_lab/scripts/gmr_data_conversion.py --input_pkl <保存的机器人数据路径.pkl> --output_txt legged_lab/envs/tienkung/datasets/motion_visualization/motion.txt

注意：在开始第二步之前，需将配置中的amp_motion_files_display路径设置为第一步生成的文件。

• 第二步：动作可视化与专家数据保存。

python legged_lab/scripts/play_amp_animation.py --task=walk --num_envs=1 --save_path legged_lab/envs/tienkung/datasets/motion_amp_expert/motion.txt --fps 30.0

注意：完成第二步后，需将配置中的amp_motion_files路径设置为第二步生成的文件。

可视化动作

通过更新模拟中的tienkung/datasets/motion_visualization数据来可视化动作。

python legged_lab/scripts/play_amp_animation.py --task=walk --num_envs=1
python legged_lab/scripts/play_amp_animation.py --task=run --num_envs=1

带传感器的动作可视化

通过更新模拟中的tienkung/datasets/motion_visualization数据来带传感器地可视化动作。

python legged_lab/scripts/play_amp_animation.py --task=walk_with_sensor --num_envs=1
python legged_lab/scripts/play_amp_animation.py --task=run_with_sensor --num_envs=1

训练

使用来自tienkung/datasets/motion_amp_expert的AMP专家数据训练策略。

python legged_lab/scripts/train.py --task=walk --headless --logger=tensorboard --num_envs=4096
python legged_lab/scripts/train.py --task=run --headless --logger=tensorboard --num_envs=4096

演示

运行训练好的策略。

python legged_lab/scripts/play.py --task=walk --num_envs=1
python legged_lab/scripts/play.py --task=run --num_envs=1

Sim2Sim(MuJoCo)

在MuJoCo中评估训练好的策略，以进行跨仿真验证。

Exported_policy/ 目录包含项目提供的预训练策略。使用play脚本时，训练好的策略会自动导出并保存到类似 logs/run/[timestamp]/exported/policy.pt 的路径。

python legged_lab/scripts/sim2sim.py --task walk --policy Exported_policy/walk.pt --duration 100

Sim2Real

TienKung-Lab 的成果已在真实的 TienKung 机器人上成功验证。

有关部署详情，请参阅此仓库：Deploy_Tienkung。

安全提示： 在真实机器人上进行测试具有风险。强化学习策略可能导致意外或剧烈的动作，因此请确保已购买事故保险，并确认紧急停止功能正常工作。

代码格式化

我们提供了一个 pre-commit 模板，用于自动格式化您的代码。安装 pre-commit：

pip install pre-commit

然后您可以运行以下命令来执行 pre-commit：

pre-commit run --all-files

故障排除

Pylance 缺失扩展索引

在某些版本的 VsCode 中，部分扩展的索引可能会缺失。此时，请在 .vscode/settings.json 文件中，将您的扩展路径添加到 "python.analysis.extraPaths" 键下。

{
    "python.analysis.extraPaths": [
        "${workspaceFolder}/legged_lab",
        "<path-to-IsaacLab>/source/isaaclab_tasks",
        "<path-to-IsaacLab>/source/isaaclab_mimic",
        "<path-to-IsaacLab>/source/extensions",
        "<path-to-IsaacLab>/source/isaaclab_assets",
        "<path-to-IsaacLab>/source/isaaclab_rl",
        "<path-to-IsaacLab>/source/isaaclab",
    ]
}

致谢

• GMR：通用运动重定向。
• Legged Lab：适用于足式机器人的直接 IsaacLab 工作流。
• Humanoid-Gym：基于 NVIDIA Isaac Gym 的强化学习（RL）框架，支持 Sim2Sim。
• RSL RL：快速且简单的强化学习算法实现。
• AMP_for_hardware：利用对抗性运动先验从短参考运动中学习技能的代码库。
• Omni-Perception：面向足式机器人的感知库，提供一系列传感器和感知算法。
• Warp：用于编写高性能仿真和图形代码的 Python 框架。

讨论

如果您对 TienKung-Lab 感兴趣，欢迎加入我们的微信群进行交流讨论。

TienKung-Lab 快速上手指南

TienKung-Lab 是一个基于 IsaacLab 的全尺寸人形机器人“天工”（TienKung）强化学习运动控制框架。它集成了 AMP 风格奖励与周期性步态奖励，支持自然稳定的行走和奔跑行为，并具备 Sim2Sim（至 MuJoCo）及 Sim2Real 能力。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐 Ubuntu 22.04)
• Python 版本: 3.10
• 核心依赖:
  • NVIDIA Isaac Sim 4.5.0
  • Isaac Lab 2.1.0
  • RSL_RL 2.3.1

注意：建议先按照 Isaac Lab 官方安装指南 完成基础环境的搭建，推荐使用 Conda 进行环境管理以简化终端调用。

安装步骤

请按照以下步骤克隆仓库并安装依赖。注意：请将此仓库克隆在 Isaac Lab 安装目录之外。

1. 克隆仓库

   git clone <repository_url>
   cd TienKung-Lab
   

2. 安装主库 使用已安装 Isaac Lab 的 Python 解释器执行：

   pip install -e .
   

3. 安装 RSL-RL 库

   cd TienKung-Lab/rsl_rl
   pip install -e .
   cd ..
   

4. 验证安装 运行以下命令检查扩展是否正确安装（无头模式，64个环境）：

   python legged_lab/scripts/train.py --task=walk  --logger=tensorboard --headless --num_envs=64
   

基本使用

1. 动作重定向与数据准备 (可选)

如果您需要使用自定义动作数据，需先通过 GMR 进行重定向。目前仅支持 SMPLX 类型数据（如 AMASS, OMOMO）。

• 转换数据格式：

  python scripts/smplx_to_robot.py --smplx_file <path_to_smplx_data> --robot tienkung  --save_path <path_to_save_robot_data.pkl>
  

• 生成可视化数据 (Step 1)：

  python legged_lab/scripts/gmr_data_conversion.py --input_pkl <path_to_save_robot_data.pkl> --output_txt legged_lab/envs/tienkung/datasets/motion_visualization/motion.txt
  

  配置提示：执行下一步前，请在配置文件中将 amp_motion_files_display 路径指向上述生成的文件。

• 生成 AMP 专家数据 (Step 2)：

  python legged_lab/scripts/play_amp_animation.py --task=walk --num_envs=1 --save_path legged_lab/envs/tienkung/datasets/motion_amp_expert/motion.txt --fps 30.0
  

  配置提示：执行训练前，请在配置文件中将 amp_motion_files 路径指向此步生成的文件。

2. 运动可视化

查看预定义或处理后的动作效果：

• 基础动作回放：

  # 行走
  python legged_lab/scripts/play_amp_animation.py --task=walk --num_envs=1
  # 奔跑
  python legged_lab/scripts/play_amp_animation.py --task=run --num_envs=1
  

• 带传感器信息的动作回放：

  python legged_lab/scripts/play_amp_animation.py --task=walk_with_sensor --num_envs=1
  python legged_lab/scripts/play_amp_animation.py --task=run_with_sensor --num_envs=1
  

3. 策略训练

使用 AMP 专家数据进行强化学习训练：

# 训练行走策略
python legged_lab/scripts/train.py --task=walk --headless --logger=tensorboard --num_envs=4096

# 训练奔跑策略
python legged_lab/scripts/train.py --task=run --headless --logger=tensorboard --num_envs=4096

4. 策略测试 (Play)

加载训练好的策略进行仿真测试：

python legged_lab/scripts/play.py --task=walk --num_envs=1
python legged_lab/scripts/play.py --task=run --num_envs=1

5. Sim2Sim 验证 (MuJoCo)

将训练好的策略导出并在 MuJoCo 中进行跨仿真器验证，以评估泛化能力：

python legged_lab/scripts/sim2sim.py --task walk --policy Exported_policy/walk.pt --duration 100

注：训练过程中策略会自动导出至 logs/run/[timestamp]/exported/policy.pt，也可使用项目提供的预训练模型。

6. Sim2Real 真机部署

该框架已在真实的“天工”机器人上验证成功。具体的真机部署代码和细节请参考独立仓库：Deploy_Tienkung。

⚠️ 安全警告：真机测试存在风险。强化学习策略可能导致不可预测或剧烈的动作。请务必确保急停按钮正常工作，并做好安全防护措施。