解决演员-评论家方法中的函数逼近误差

双延迟深度确定性策略梯度（TD3）的 PyTorch 实现。如果您使用我们的代码或数据，请引用论文。

该方法在 OpenAI gym 中的 MuJoCo 连续控制任务上进行了测试。网络使用 PyTorch 1.2 和 Python 3.7 进行训练。

使用方法

通过运行以下命令可以复现论文中的结果：

./run_experiments.sh

针对单个环境的实验可以通过调用以下命令运行：

python main.py --env HalfCheetah-v2

超参数可以通过向 main.py 传递不同的参数来修改。我们还包含了一个 DDPG 的实现（DDPG.py），虽然未在论文中使用，但便于与 TD3 的超参数进行对比。请注意，这并非论文中所使用的“我们的 DDPG”实现（参见 OurDDPG.py）。

TD3 对比的算法（PPO、TRPO、ACKTR、DDPG）可以在 OpenAI 基线库仓库 中找到。

结果

目前的代码已不再完全等同于论文中使用的代码。为了提升性能，我们对超参数等进行了一些小幅调整。不过，学习曲线仍为论文中原始的结果。

论文中的学习曲线位于 /learning_curves 目录下。每个学习曲线以 NumPy 数组的形式存储，包含 201 次评估结果（形状为 (201,)），每次评估对应于在不进行探索的情况下运行策略 10 个回合所得的平均总奖励。第一次评估是随机初始化的策略网络（论文中未使用）。评估每 5000 个时间步进行一次，总共持续 100 万个时间步。

数值结果可在论文中或从学习曲线中获取。学习到的智能体的视频可在此处观看：这里。

Bibtex

@inproceedings{fujimoto2018addressing,
  title={Addressing Function Approximation Error in Actor-Critic Methods},
  author={Fujimoto, Scott and Hoof, Herke and Meger, David},
  booktitle={International Conference on Machine Learning},
  pages={1582--1591},
  year={2018}
}

TD3 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 需配置相应兼容环境）
• Python 版本：推荐 Python 3.7
• 深度学习框架：PyTorch 1.2 或更高版本
• 仿真环境：
  • OpenAI Gym
  • MuJoCo (需安装 mujoco-py 并配置有效的 license)

国内加速建议： 安装 Python 依赖时，推荐使用清华或阿里镜像源以提升下载速度： pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <package_name>

安装步骤

1. 克隆仓库

   git clone https://github.com/sfujim/TD3.git
   cd TD3
   

2. 安装依赖 确保已安装 PyTorch 和 Gym/MuJoCo 相关库。若未安装，可执行：

   pip install torch==1.2.0 gym mujoco-py
   

   (注：具体 PyTorch 版本可根据您的 CUDA 环境调整，但原文基于 1.2 测试)

基本使用

运行完整实验复现

若要复现论文中的完整实验结果，直接运行脚本：

./run_experiments.sh

运行单个环境训练

若只需在特定环境中训练模型（例如 HalfCheetah），使用以下命令：

python main.py --env HalfCheetah-v2

调整超参数

您可以通过向 main.py 传递不同参数来修改超参数设置。代码库中还包含了 DDPG.py 实现，方便与 TD3 进行超参数对比测试（注意：此文件并非论文中使用的 "OurDDPG" 版本，后者见 OurDDPG.py）。

查看结果

训练生成的学习曲线数据保存在 /learning_curves 目录下。数据格式为 NumPy 数组，包含 201 次评估结果，每次评估对应无探索状态下运行 10 个回合的平均总奖励。