SKRL - 强化学习库

文档: https://skrl.readthedocs.io

简介: skrl 是一个用 Python 编写的开源模块化强化学习库 （基于 PyTorch、JAX 和 NVIDIA Warp 实现）， 其设计重点在于算法实现的模块化、可读性、简洁性和透明度。除了支持 OpenAI 的 Gym、 Farama 的 Gymnasium 和 PettingZoo、 ManiSkill 等环境接口外， 它还允许加载和配置 NVIDIA 的 Isaac Lab 和 MuJoCo Playground 环境， 从而在一次运行中实现智能体按范围（即所有可用环境中的一部分子集）同时训练， 这些范围可以共享资源，也可以不共享资源。

详情与示例请参阅文档：https://skrl.readthedocs.io

注意: 本项目处于 积极持续开发中。请确保始终使用最新版本。访问 develop 分支或其 文档 可获取即将发布的最新更新。

引用本库

如需在出版物中引用本库，请使用以下参考文献：

@article{serrano2023skrl,
  author  = {Antonio Serrano-Muñoz and Dimitrios Chrysostomou and Simon Bøgh and Nestor Arana-Arexolaleiba},
  title   = {skrl: Modular and Flexible Library for Reinforcement Learning},
  journal = {Journal of Machine Learning Research},
  year    = {2023},
  volume  = {24},
  number  = {254},
  pages   = {1--9},
  url     = {http://jmlr.org/papers/v24/23-0112.html}
}

skrl 快速上手指南

skrl 是一个用 Python 编写的开源模块化强化学习库，支持 PyTorch、JAX 和 NVIDIA Warp 后端。它专注于算法实现的模块化、可读性、简洁性和透明性，并兼容 Gym、Gymnasium、PettingZoo、ManiSkill、NVIDIA Isaac Lab 及 MuJoCo Playground 等多种环境接口。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统: Linux (推荐) 或 macOS。Windows 支持取决于具体后端（如 PyTorch）的兼容性。
• Python 版本: Python 3.8 或更高版本。
• 前置依赖:
  • 深度学习框架: 根据需求选择安装 PyTorch、JAX 或 NVIDIA Warp。
    • 若使用 GPU 加速，请确保已安装对应的 NVIDIA 驱动和 CUDA 工具包。
  • 环境接口: 根据任务需要安装 gymnasium、pettingzoo 或特定仿真器（如 isaac-lab）。

提示：国内开发者建议使用清华源或阿里源加速 Python 包的安装。

安装步骤

1. 安装基础库

通过 pip 安装 skrl 最新稳定版：

pip install skrl -i https://pypi.tuna.tsinghua.edu.cn/simple

2. 安装特定后端（可选）

skrl 核心库不强制绑定特定深度学习框架，您需根据需求单独安装后端依赖。

• PyTorch 版本 (推荐):

  pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
  

  (注：请将 cu118 替换为您实际的 CUDA 版本，或使用 CPU 版本)

• JAX 版本:

  pip install "jax[cuda11_pip]" -f https://storage.googleapis.com/jax-releases/jax_cuda_releases.html
  

• NVIDIA Warp 版本: 请参考 NVIDIA Warp 官方文档进行安装。

3. 安装额外环境支持（可选）

如果您需要使用特定的仿真环境，请安装相应依赖：

# 示例：安装 Gymnasium 和 PettingZoo 支持
pip install gymnasium pettingzoo -i https://pypi.tuna.tsinghua.edu.cn/simple

基本使用

skrl 的设计哲学是配置驱动。以下是一个基于 PyTorch 和 Gymnasium 的最简训练示例，展示如何启动一个 PPO 代理。

代码示例

创建一个名为 train_ppo.py 的文件：

from skrl.agents.ppo.torch import PPOAgent, PPO_DEFAULT_CONFIG
from skrl.envs.wrappers.torch import wrap_env
import gymnasium as gym

# 1. 实例化环境
env = gym.make("CartPole-v1")
env = wrap_env(env)

# 2. 配置代理 (使用默认配置或自定义字典)
# PPO_DEFAULT_CONFIG 包含了算法所需的超参数
agent_cfg = PPO_DEFAULT_CONFIG.copy()
agent_cfg["experiment"]["checkpoints_path"] = "./checkpoints"

# 3. 创建代理实例
agent = PPOAgent(models=None, memory=None, cfg=agent_cfg, observation_space=env.observation_space, action_space=env.action_space)

# 4. 开始训练
# train() 方法将自动处理交互、更新和日志记录
agent.train(env, n_timesteps=100000)

运行训练

在终端执行脚本：

python train_ppo.py

训练过程中，skrl 会自动保存检查点到 ./checkpoints 目录，并输出实时训练日志。您可以加载这些检查点进行推理或继续训练。

注意：本项目处于活跃开发中，建议定期更新以获取最新功能：

pip install -U skrl -i https://pypi.tuna.tsinghua.edu.cn/simple