ReAgent 已正式归档，不再维护。如需了解适用于生产环境的强化学习开源库的最新支持信息，请参阅 Pearl —— 由 Meta 应用强化学习团队开发的生产就绪型强化学习智能体库。

概述

ReAgent 是 Facebook 开发并用于实际应用的端到端强化学习（RL）开源平台。该平台基于 Python 构建，使用 PyTorch 进行模型构建与训练，并采用 TorchScript 实现模型推理服务。ReAgent 提供了训练主流深度强化学习算法的工作流，涵盖数据预处理、特征转换、分布式训练、反事实策略评估以及优化的推理部署等功能。有关 ReAgent 的更多详细信息，请参阅发布博文 此处 和白皮书 此处。

该平台曾名为“Horizon”，但近期我们将其更名为“ReAgent”，以突出其在决策与推理领域的更广泛适用性。

支持的算法

经典离散动作 Off-Policy 算法：

• 离散动作 DQN
• 参数化动作 DQN
• Double DQN、Dueling DQN、Dueling Double DQN
• 分布式强化学习：C51 和 QR-DQN
• Twin Delayed DDPG（TD3）
• Soft Actor-Critic（SAC）
• Critic Regularized Regression（CRR）
• Proximal Policy Optimization Algorithms（PPO）

推荐系统中的强化学习：

• Seq2Slate
• SlateQ

反事实评估：

• Doubly Robust（用于多臂老虎机问题）
• Doubly Robust（用于序列决策问题）
• MAGIC

多臂老虎机与上下文相关老虎机：

• UCB1
• MetricUCB
• Thompson Sampling
• LinUCB

其他：

• 交叉熵方法
• 用于信用分配的合成回报

安装

ReAgent 可通过 Docker 或手动方式安装。详细的安装说明请参阅 此处。

教程

ReAgent 专为大规模、分布式的推荐或优化任务设计，在这些场景中我们通常无法访问模拟器。在这种环境下，通常更适合在离线模式下分批次训练模型，并逐步发布新策略。由于策略更新较为缓慢且以批次方式进行，我们主要采用 Off-Policy 算法。为了在不部署新策略的情况下对其进行测试，我们依赖反事实策略评估（CPE），这是一组基于其他策略行为来估计当前策略性能的技术。

此外，ReAgent 还提供了一系列工具，以帮助在实际应用中更便捷地使用强化学习：

• 领域分析工具，用于分析状态和动作特征的重要性，并判断问题是否适合采用批量强化学习；
• 行为克隆功能，可以从日志策略中克隆出初始策略，从而安全地启动学习过程。

关于如何使用 ReAgent 的详细说明请参阅 此处。

许可证

ReAgent 采用 BSD 3-Clause 许可证进行发布。更多信息请参阅 [LICENSE]。

使用条款 | 隐私政策 | 版权所有 © 2022 Meta Platforms, Inc

引用

@article{gauci2018horizon,
  title={Horizon: Facebook's Open Source Applied Reinforcement Learning Platform},
  author={Gauci, Jason and Conti, Edoardo and Liang, Yitao and Virochsiri, Kittipat and Chen, Zhengxing and He, Yuchen and Kaden, Zachary and Narayanan, Vivek and Ye, Xiaohui},
  journal={arXiv preprint arXiv:1811.00260},
  year={2018}
}

ReAgent 快速上手指南

⚠️ 重要提示：ReAgent 项目已正式归档，不再维护。Meta 应用强化学习团队推荐使用其继任者 Pearl 作为生产环境的强化学习开源库。本文档仅供参考历史用法或维护旧项目。

1. 环境准备

ReAgent 基于 Python 和 PyTorch 构建，主要用于大规模离线强化学习任务。

• 操作系统：推荐 Linux (Ubuntu 18.04+) 或 macOS。Windows 支持有限，建议使用 WSL2 或 Docker。
• Python 版本：Python 3.7 - 3.9
• 核心依赖：
  • PyTorch (与 ReAgent 版本兼容的特定版本)
  • TorchScript (用于模型服务)
  • Docker (推荐安装方式，可避免依赖冲突)
• 硬件要求：建议配备 NVIDIA GPU 以加速训练（可选，CPU 亦可运行但较慢）。

2. 安装步骤

官方推荐使用 Docker 进行安装，以确保环境一致性。也可选择手动安装。

方式一：Docker 安装（推荐）

拉取官方镜像并启动容器：

docker pull pytorch/reagent
docker run --gpus all -it pytorch/reagent:latest /bin/bash

注：若无 NVIDIA GPU，请移除 --gpus all 参数。

方式二：手动安装

若需在本地环境安装，请确保已安装 PyTorch，然后执行：

pip install reagent

或者从源码安装（需克隆仓库）：

git clone https://github.com/facebookresearch/ReAgent.git
cd ReAgent
pip install -e .

注意：由于项目已归档，PyPI 上的包可能不是最新版本，建议参考原仓库 docs/installation.rst 获取具体的依赖版本锁定信息。

3. 基本使用

ReAgent 专为离线强化学习 (Offline RL) 设计，适用于无法使用模拟器的场景（如推荐系统）。其核心工作流包括：数据预处理 -> 离线训练 -> 反事实策略评估 (CPE)。

以下是一个典型的命令行工作流示例：

步骤 1: 数据预处理与特征转换

将原始日志数据转换为 ReAgent 所需的格式（Sparse/Dense 特征）。

reagent preprocess \
  --input-data-path ./data/raw_logs.json \
  --output-data-path ./data/preprocessed \
  --config-file ./configs/preprocess_config.yaml

步骤 2: 训练模型

使用离线算法（如 DQN, SAC, CRR 等）训练策略。

reagent train \
  --input-data-path ./data/preprocessed \
  --output-model-path ./models/trained_model \
  --algorithm DQN \
  --config-file ./configs/train_config.yaml

步骤 3: 反事实策略评估 (CPE)

在不部署新策略的情况下，利用历史数据评估新策略的表现（使用双重稳健估计等方法）。

reagent eval \
  --input-data-path ./data/preprocessed \
  --model-path ./models/trained_model \
  --eval-method DoublyRobust \
  --config-file ./configs/eval_config.yaml

步骤 4: 模型导出 (TorchScript)

将训练好的模型导出为 TorchScript 格式，以便在生产环境中高效服务。

reagent export \
  --model-path ./models/trained_model \
  --output-path ./models/scripted_model.pt

---

更多详细配置参数及高级用法（如领域分析工具、行为克隆等），请参阅原仓库文档 docs/usage.rst。