CURL：用于样本高效强化学习的对比无监督表征学习

本仓库是 DeepMind 控制实验中 CURL 的官方实现。Atari 实验则是在另一个代码库中完成的，该代码库可在此处获取：curl_rainbow。我们对 SAC 的实现基于 Denis Yarats 的 SAC+AE。

安装

所有依赖项均列在 conda_env.yml 文件中。您可以手动安装，也可以使用以下命令进行安装：

conda env create -f conda_env.yml

使用说明

要从基于图像的观测值训练一个 CURL 智能体来完成 cartpole swingup 任务，请在本目录的根目录下运行 bash script/run.sh。run.sh 文件包含如下命令，您可以对其进行修改以尝试不同的环境或超参数：

CUDA_VISIBLE_DEVICES=0 python train.py \
    --domain_name cartpole \
    --task_name swingup \
    --encoder_type pixel \
    --action_repeat 8 \
    --save_tb --pre_transform_image_size 100 --image_size 84 \
    --work_dir ./tmp \
    --agent curl_sac --frame_stack 3 \
    --seed -1 --critic_lr 1e-3 --actor_lr 1e-3 --eval_freq 10000 --batch_size 128 --num_train_steps 1000000 

您的控制台将显示类似如下的输出：

| train | E: 221 | S: 28000 | D: 18.1 s | R: 785.2634 | BR: 3.8815 | A_LOSS: -305.7328 | CR_LOSS: 190.9854 | CU_LOSS: 0.0000
| train | E: 225 | S: 28500 | D: 18.6 s | R: 832.4937 | BR: 3.9644 | A_LOSS: -308.7789 | CR_LOSS: 126.0638 | CU_LOSS: 0.0000
| train | E: 229 | S: 29000 | D: 18.8 s | R: 683.6702 | BR: 3.7384 | A_LOSS: -311.3941 | CR_LOSS: 140.2573 | CU_LOSS: 0.0000
| train | E: 233 | S: 29500 | D: 19.6 s | R: 838.0947 | BR: 3.7254 | A_LOSS: -316.9415 | CR_LOSS: 136.5304 | CU_LOSS: 0.0000

作为参考，cartpole swing up 的最高得分约为 845 分，因此 CURL 已收敛到最优得分。具体训练时间取决于您的 GPU，大约需要一小时左右。

日志缩写含义：

train - 训练 episode
E - 总 episode 数
S - 总环境步数
D - 训练一个 episode 所需的秒数
R - episode 的平均奖励
BR - 抽样批次的平均奖励
A_LOSS - 策略网络的平均损失
CR_LOSS - 价值网络的平均损失
CU_LOSS - CURL 编码器的平均损失

本次运行的所有数据都将存储在指定的 working_dir 中。如需保存模型或视频，可使用 --save_model 或 --save_video 标志。有关所有可用标志，请查看 train.py。要使用 TensorBoard 可视化训练进度，请运行：

tensorboard --logdir log --port 6006

然后在浏览器中访问 localhost:6006。如果您是以无头模式运行，可以尝试通过 SSH 进行端口转发。

若要启用 GPU 加速渲染，请确保您的机器上已安装 EGL，并设置 export MUJOCO_GL=egl。如遇环境配置问题，请参阅 DeepMind 控制文档。

CURL 快速上手指南

CURL (Contrastive Unsupervised Representation Learning) 是一个用于样本高效强化学习的开源项目，专为从图像观测中学习策略而设计。本指南基于 DeepMind Control Suite 实验代码整理。

环境准备

• 操作系统: Linux (推荐 Ubuntu)
• 硬件要求: NVIDIA GPU (支持 CUDA)，已安装对应驱动
• 前置依赖:
  • Conda (推荐使用 Miniconda)
  • EGL (用于无头模式下的 GPU 加速渲染，可选但推荐)

提示：若需加速 Conda 包下载，可配置国内镜像源（如清华源或中科大源）。

安装步骤

1. 克隆仓库

   git clone https://github.com/MishaLaskin/curl.git
   cd curl
   

2. 创建虚拟环境 项目所有依赖已定义在 conda_env.yml 文件中，执行以下命令一键安装：

   conda env create -f conda_env.yml
   

3. 激活环境

   conda activate curl
   

4. 配置 GPU 渲染 (可选) 若需在无显示器服务器上进行 GPU 加速渲染，请设置以下环境变量：

   export MUJOCO_GL=egl
   

   注：若遇到渲染问题，请确保系统已安装 EGL 库。

基本使用

以下示例展示如何训练一个 CURL 代理来解决 cartpole swingup（倒立摆摆动起立）任务。

1. 运行训练脚本 在项目根目录下执行：

   bash script/run.sh
   

   该脚本默认执行的完整命令如下（可根据需要修改超参数或环境）：

   CUDA_VISIBLE_DEVICES=0 python train.py \
       --domain_name cartpole \
       --task_name swingup \
       --encoder_type pixel \
       --action_repeat 8 \
       --save_tb --pre_transform_image_size 100 --image_size 84 \
       --work_dir ./tmp \
       --agent curl_sac --frame_stack 3 \
       --seed -1 --critic_lr 1e-3 --actor_lr 1e-3 --eval_freq 10000 --batch_size 128 --num_train_steps 1000000 
   

2. 查看训练日志 运行后控制台将输出实时训练指标，例如：

   | train | E: 221 | S: 28000 | D: 18.1 s | R: 785.2634 | BR: 3.8815 | A_LOSS: -305.7328 | CR_LOSS: 190.9854 | CU_LOSS: 0.0000
   

   • R: 平均回合奖励 (Cartpole Swingup 满分约为 845)
   • A_LOSS / CR_LOSS / CU_LOSS: 分别为 Actor、Critic 和 CURL 编码器的损失值
   • 通常在单张 GPU 上训练约 1 小时即可收敛至最优分数。

3. 可视化训练过程 使用 TensorBoard 查看损失曲线和奖励趋势：

   tensorboard --logdir log --port 6006
   

   然后在浏览器中访问 localhost:6006。

   • 远程服务器用户：请使用 SSH 端口转发映射 6006 端口到本地。

4. 保存模型与视频 如需保存训练好的模型或录制演示视频，请在命令中添加 --save_model 或 --save_video 标志。所有输出数据将保存在 --work_dir 指定的目录中。