pytorch-a3c

这是一个基于 PyTorch 的异步优势演员-评论家（A3C）算法实现，源自论文《深度强化学习的异步方法》（https://arxiv.org/pdf/1602.01783v1.pdf）。

该实现受到 Universe Starter Agent 的启发。与 starter agent 不同的是，本实现采用了原论文中共享统计信息的优化器。

如果您希望在您的出版物中引用此仓库，请使用以下 BibTeX 格式：

@misc{pytorchaaac,
  author = {Kostrikov, Ilya},
  title = {PyTorch 实现的异步优势演员-评论家算法},
  year = {2018},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/ikostrikov/pytorch-a3c}},
}

A2C

我强烈推荐您查看同步版本及其他算法：pytorch-a2c-ppo-acktr。

根据我的经验，A2C 的表现优于 A3C，而 ACKTR 又优于前两者。此外，PPO 是一种非常适合连续控制任务的算法。因此，我建议您首先尝试 A2C、PPO 和 ACKTR，只有在特定情况下确实需要时才使用 A3C。

您还可以阅读 OpenAI 博客 以获取更多信息。

贡献

我们非常欢迎贡献。如果您知道如何改进这段代码，请随时提交 Pull Request。

使用方法

# 仅支持 Python 3。
python3 main.py --env-name "PongDeterministic-v4" --num-processes 16

除了 16 个并行进程外，该代码还会在一个单独的线程中运行评估。

结果

使用 16 个进程时，对于 PongDeterministic-v4 环境，大约 15 分钟即可收敛。

而对于 BreakoutDeterministic-v4 环境，则需要数小时以上才能收敛。

pytorch-a3c 快速上手指南

环境准备

• 操作系统：Linux / macOS（Windows 支持有限，建议优先使用 Linux）
• Python 版本：仅支持 Python 3
• 核心依赖：
  • PyTorch
  • OpenAI Gym（用于强化学习环境）
  • 其他常见科学计算库（如 numpy）

💡 国内加速建议：安装依赖时推荐使用清华或阿里镜像源，例如：

pip install torch torchvision torchaudio --index-url https://pypi.tuna.tsinghua.edu.cn/simple
pip install gym --index-url https://pypi.tuna.tsinghua.edu.cn/simple

安装步骤

1. 克隆仓库：

   git clone https://github.com/ikostrikov/pytorch-a3c.git
   cd pytorch-a3c
   

2. 安装 Python 依赖（建议使用虚拟环境）：

   pip install -r requirements.txt
   

   若项目中无 requirements.txt，请手动安装核心依赖：

   pip install torch gym opencv-python
   

基本使用

运行 A3C 算法训练 Pong 游戏示例（使用 16 个并行进程）：

python3 main.py --env-name "PongDeterministic-v4" --num-processes 16

• 该命令会启动 16 个训练进程 + 1 个独立评估线程。
• 在标准硬件上，约 15 分钟即可在 PongDeterministic-v4 环境中收敛。
• 对于更复杂的环境（如 BreakoutDeterministic-v4），训练可能需要数小时。

⚠️ 注意：作者强烈建议优先尝试同步版本 A2C 或 PPO、ACKTR 等更优算法（见 pytorch-a2c-ppo-acktr），仅在特定需求下使用 A3C。