PyTorch 中的软 Actor-Critic (SAC) 实现

这是 Soft Actor-Critic (SAC) 的 PyTorch 实现 [ArXiv]。

如果您在研究项目中使用此代码，请引用我们如下：

@misc{pytorch_sac,
  author = {Yarats, Denis and Kostrikov, Ilya},
  title = {Soft Actor-Critic (SAC) implementation in PyTorch},
  year = {2020},
  publisher = {GitHub},
  journal = {GitHub repository},
  howpublished = {\url{https://github.com/denisyarats/pytorch_sac}},
}

需求

我们假设您有一块支持 CUDA 9.2 的 GPU。安装所有必要依赖的最简单方法是创建并激活一个 Anaconda 环境：

conda env create -f conda_env.yml
source activate pytorch_sac

使用说明

要在 cheetah run 任务上训练一个 SAC 智能体，运行：

python train.py env=cheetah_run

这将生成一个 exp 文件夹，所有输出都将存储在其中，包括训练/评估日志、TensorBoard 数据以及评估剧集视频。可以通过运行以下命令来连接 TensorBoard 监控训练过程：

tensorboard --logdir exp

结果

我们在 DM Control Suite 上对 SAC 和 D4PG 进行了全面的基准测试。我们绘制了 SAC 在 3 个随机种子下的平均性能曲线，并附上了 p95 置信区间。重要的是，我们在所有任务中都保持超参数不变。请注意，D4PG 的结果是在 10^8 步之后报告的，并取自原始论文。

pytorch_sac 快速上手指南

环境准备

• 系统要求：需要配备支持 CUDA 9.2 的 GPU。
• 前置依赖：需预先安装 Anaconda 或 Miniconda 以管理 Python 环境。

安装步骤

使用官方提供的配置文件创建并激活 Conda 环境，这是最简便的安装方式：

conda env create -f conda_env.yml
source activate pytorch_sac

提示：若在国内网络环境下下载依赖较慢，可在运行上述命令前配置 Conda 国内镜像源（如清华源）：

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --set show_channel_urls yes

基本使用

以下示例演示如何训练一个 SAC 智能体来执行 cheetah_run（猎豹奔跑）任务：

1. 开始训练 运行以下命令，程序将自动生成 exp 文件夹，用于存储训练/评估日志、TensorBoard 数据及评估视频：

   python train.py env=cheetah_run
   

2. 监控训练过程 启动 TensorBoard 以可视化监控训练指标：

   tensorboard --logdir exp
   

   随后在浏览器中访问显示的地址即可查看实时图表。