决策 Transformer

陈莉*, 卢凯文*, 阿拉文德·拉杰斯瓦兰, 金民李, 阿迪蒂亚·格罗弗, 迈克尔·拉斯金, 彼得·阿贝尔, 阿拉文德·斯里尼瓦斯†, 伊戈尔·莫达奇†

*同等贡献，†同等指导

我们的论文链接可在 arXiv 上找到。

概述

决策 Transformer：通过序列建模进行强化学习 的官方代码库。包含用于复现实验的脚本。

使用说明

我们提供了两个子目录中的代码：atari 包含 Atari 实验的代码，gym 包含 OpenAI Gym 实验的代码。请参阅各自文件夹中的 README 文件以获取使用说明；脚本应从相应的目录运行。可能需要将相应目录添加到您的 PYTHONPATH 中。

引用

请按以下方式引用我们的论文：

@article{chen2021decisiontransformer,
  title={Decision Transformer: Reinforcement Learning via Sequence Modeling},
  author={Lili Chen and Kevin Lu and Aravind Rajeswaran and Kimin Lee and Aditya Grover and Michael Laskin and Pieter Abbeel and Aravind Srinivas and Igor Mordatch},
  journal={arXiv preprint arXiv:2106.01345},
  year={2021}
}

注意：这不是 Google 或 Facebook 的官方产品。

许可证

MIT

Decision Transformer 快速上手指南

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux 或 macOS（Windows 用户建议使用 WSL2 或 Docker）
• Python 版本：推荐 Python 3.7 或更高版本
• 前置依赖：
  • PyTorch
  • OpenAI Gym (用于通用环境实验)
  • Atari ROMs (用于 Atari 游戏实验，需额外安装 atari-py)
  • NumPy, tqdm 等常用科学计算库

提示：国内开发者可使用清华源或阿里源加速 Python 包的安装。

安装步骤

1. 克隆仓库

   git clone https://github.com/kzl/decision-transformer.git
   cd decision-transformer
   

2. 创建虚拟环境并安装依赖 建议先创建一个独立的 Conda 或 venv 环境。

   # 如果使用 pip 安装基础依赖（具体依赖列表请参考子目录中的 requirements.txt）
   pip install torch gym atari-py numpy tqdm
   
   # 或者根据子目录的具体需求安装
   # 例如进入 gym 目录查看特定依赖
   

3. 配置环境变量 根据官方说明，运行脚本前可能需要将对应目录添加到 PYTHONPATH。

   export PYTHONPATH="${PYTHONPATH}:$(pwd)/gym"
   # 如果运行 Atari 实验
   export PYTHONPATH="${PYTHONPATH}:$(pwd)/atari"
   

基本使用

该仓库包含两个主要实验目录：gym（OpenAI Gym 环境）和 atari（Atari 游戏环境）。请进入相应目录运行脚本。

1. 运行 Gym 环境示例

进入 gym 目录，执行训练或评估脚本（具体脚本名称请参考该目录下 README 或文件列表，以下为典型调用方式）：

cd gym
python experiment.py --env_name halfcheetah-medium-v2 --seed 0

2. 运行 Atari 环境示例

进入 atari 目录，执行相关实验脚本：

cd atari
python experiment.py --env_name breakout --seed 0

注意：具体的命令行参数（如 --env_name, --seed 等）可能因脚本版本而异，请务必查阅 gym/README.md 或 atari/README.md 获取最准确的参数说明。

---

注：本项目非 Google 或 Facebook 官方产品，遵循 MIT 许可证。引用论文请参考原仓库 Citation 部分。