rllab 已不再处于积极开发状态，但来自多所高校的研究人员组成的联盟已接管该项目，并以garage之名进行维护。

我们建议您将新项目以及旧项目基于活跃维护的garage代码库进行开发和重构，以促进强化学习研究中的可重复性和代码共享。新的代码库几乎与 rllab 共享所有代码，因此大多数迁移只需修改包导入路径，并可能更新一些重命名的函数即可。

garage 一直欢迎新用户和贡献者，请考虑将您基于 rllab 的项目及改进贡献到新的代码库中！近期的改进包括对 TensorFlow 的原生支持、TensorBoard 集成、新增 PPO 和 DDPG 等算法、更新的 Docker 镜像、新的环境封装器、大量依赖库的更新以及稳定性提升等。

rllab

rllab 是一个用于开发和评估强化学习算法的框架。它包含广泛的连续控制任务，以及以下算法的实现：

• REINFORCE
• 截断自然策略梯度
• 奖励加权回归
• 相对熵策略搜索
• 信任域策略优化
• 交叉熵方法
• 协方差矩阵自适应进化策略
• 深度确定性策略梯度

rllab 与 OpenAI Gym 完全兼容。有关说明和示例，请参阅此处。

rllab 官方仅支持 Python 3.5 及以上版本。如果您需要基于 Python 2 的 rllab 历史快照，请使用 py2 分支。

rllab 提供在 EC2 集群上运行强化学习实验的支持，并配有结果可视化工具。详细信息请参阅文档。

主要模块使用 Theano 作为底层框架，同时我们在 sandbox/rocky/tf 中提供了对 TensorFlow 的支持。

文档

文档可在在线查阅：https://rllab.readthedocs.org/en/latest/。

引用 rllab

如果您在学术研究中使用 rllab，强烈建议引用以下论文：

• Yan Duan, Xi Chen, Rein Houthooft, John Schulman, Pieter Abbeel. “连续控制领域的深度强化学习基准测试”。 第 33 届国际机器学习大会（ICML），2016 年。

致谢

rllab 最初由 Rocky Duan（加州大学伯克利分校 / OpenAI）、Peter Chen（加州大学伯克利分校）、Rein Houthooft（加州大学伯克利分校 / OpenAI）、John Schulman（加州大学伯克利分校 / OpenAI）以及 Pieter Abbeel（加州大学伯克利分校 / OpenAI）共同开发。该库目前仍由 OpenAI 和加州大学伯克利分校的团队联合维护。

幻灯片

2016 年 ICML 大会上展示的幻灯片：https://www.dropbox.com/s/rqtpp1jv2jtzxeg/ICML2016_benchmarking_slides.pdf?dl=0

rllab 快速上手指南

⚠️ 重要提示：rllab 已停止活跃开发。原开发团队及多所高校研究人员已将其重构并更名为 garage 进行维护。

强烈建议新项目进行开发，或将旧项目迁移至 garage。garage 保留了 rllab 的大部分代码逻辑，仅需调整导入路径即可，且增加了对 TensorFlow 的原生支持、PPO/DDPG 等新算法以及更好的稳定性。本指南仅供了解 rllab 历史用法或维护遗留代码参考。

环境准备

在开始之前，请确保您的系统满足以下要求：

• 操作系统：Linux (推荐 Ubuntu) 或 macOS。Windows 支持有限，建议使用 WSL 或 Docker。
• Python 版本：官方仅支持 Python 3.5+。
  • 注：如需 Python 2 环境，请使用 py2 分支，但已不再推荐。
• 核心依赖：
  • Theano：主要后端框架。
  • OpenAI Gym：强化学习环境接口。
  • lasagne, joblib, mako 等科学计算库。

安装步骤

1. 克隆代码库

git clone https://github.com/rllab/rllab.git
cd rllab

2. 创建虚拟环境（推荐）

使用 venv 或 conda 隔离环境，避免依赖冲突。

python3 -m venv env
source env/bin/activate

3. 安装依赖

由于 rllab 停止更新，部分依赖可能需要手动指定版本。首先升级 pip，然后安装核心包。

国内加速建议：使用清华或阿里镜像源加速 PyPI 下载。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip setuptools wheel

# 安装 rllab 及其依赖
pip install -i https://pypi.tuna.tsuna.tsinghua.edu.cn/simple -e .

如果上述命令报错，可能需要先手动安装 Theano 和 Lasagne：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple theano==1.0.4 lasagne
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple gym

4. 验证安装

运行一个简单的脚本来检查环境是否正常：

python scripts/run_experiment.py --args_file /dev/null --args_data '{"exp_name": "test", "algo": {"_type": "rllab.algos.vpg.VPG"}, "env": {"_type": "rllab.envs.box2d.lunar_lander.LunarLanderEnv"}}'

(注：若只需测试导入，可运行 python -c "import rllab; print(rllab.__version__)")

基本使用

rllab 的核心工作流是定义算法 (Algo)、环境 (Env) 和 策略 (Policy)，然后运行实验。以下是一个使用 VPG (REINFORCE) 算法在 CartPole 环境中训练的最简示例。

创建文件 train_cartpole.py：

from rllab.algos.vpg import VPG
from rllab.envs.box2d.cartpole_env import CartpoleEnv
from rllab.envs.normalized_env import normalize
from rllab.policies.gaussian_mlp_policy import GaussianMLPPolicy
from rllab.baselines.linear_feature_baseline import LinearFeatureBaseline
from rllab.sampler.utils import rollout

# 1. 初始化环境 (推荐使用 normalize 包装器)
env = normalize(CartpoleEnv())

# 2. 定义策略网络 (MLP)
policy = GaussianMLPPolicy(
    env_spec=env.spec,
    # 隐藏层结构
    hidden_sizes=(32, 32), 
)

# 3. 定义基线 (用于减少方差)
baseline = LinearFeatureBaseline(env_spec=env.spec)

# 4. 初始化算法
algo = VPG(
    env=env,
    policy=policy,
    baseline=baseline,
    batch_size=4000,
    max_path_length=100,
    n_itr=40,
    discount=0.99,
    step_size=0.01,
    plot=True,  # 训练结束后绘制结果
)

# 5. 开始训练
algo.train()

运行脚本：

python train_cartpole.py

使用 OpenAI Gym 环境

rllab 完全兼容 OpenAI Gym。若要使用 Gym 中的环境（如 Pendulum-v0），代码如下：

from rllab.algos.trpo import TRPO
from rllab.envs.gym_env import GymEnv
from rllab.policies.gaussian_mlp_policy import GaussianMLPPolicy
from rllab.baselines.linear_feature_baseline import LinearFeatureBaseline

# 包装 Gym 环境
env = GymEnv("Pendulum-v0")

policy = GaussianMLPPolicy(env_spec=env.spec, hidden_sizes=(64, 64))
baseline = LinearFeatureBaseline(env_spec=env.spec)

algo = TRPO(
    env=env,
    policy=policy,
    baseline=baseline,
    max_path_length=500,
    n_itr=100,
    batch_size=50000,
    step_size=0.01,
)

algo.train()

训练完成后，rllab 会自动生成数据日志并在本地浏览器中展示学习曲线（如果设置了 plot=True）。