RecSim：可配置的推荐系统仿真平台

RecSim 是一个用于构建推荐系统（RS）仿真环境的可配置平台，天然支持与用户的序列化交互。RecSim 允许创建能够反映用户行为和物品结构特定方面的全新环境，其抽象层次非常适合推动当前强化学习（RL）和推荐系统技术在序列化交互推荐问题中的极限。这些环境可以轻松配置，以改变对以下方面的假设：用户偏好与物品熟悉度；用户的潜在状态及其动态变化；以及选择模型和其他用户响应行为。我们概述了 RecSim 如何为强化学习和推荐系统的研究人员及从业者提供价值，以及它如何作为学术界与工业界合作的桥梁。有关 RecSim 架构的详细描述，请参阅 Ie 等人。如果您在工作中使用了本仓库中的代码，请引用该论文。

Bibtex

@article{ie2019recsim,
    title={RecSim: A Configurable Simulation Platform for Recommender Systems},
    author={Eugene Ie and Chih-wei Hsu and Martin Mladenov and Vihan Jain and Sanmit Narvekar and Jing Wang and Rui Wu and Craig Boutilier},
    year={2019},
    eprint={1909.04847},
    archivePrefix={arXiv},
    primaryClass={cs.LG}
}

免责声明

本项目并非 Google 官方支持的产品。

最新动态

• 2019年12月13日： 添加了多用户环境和智能体的（抽象）类。新增了适用于广义线性模型的 bandit 算法。

安装与示例用法

建议通过 (https://pypi.org/project/recsim/) 安装 RecSim：

pip install recsim

然而，截至 2019 年 12 月，Dopamine 的最新版本尚未发布到 PyPI。因此，在安装 RecSim 之前，我们需要先从 Dopamine 的仓库中安装最新版本，如下所示。请注意，Dopamine 需要 Tensorflow 1.15.0，这是包含 GPU 支持的最后一个 1.x 版本，适用于 Ubuntu 和 Windows。

pip install git+https://github.com/google/dopamine.git

以下是一些可用于测试安装的示例命令：

git clone https://github.com/google-research/recsim
cd recsim/recsim
python main.py --logtostderr \
  --base_dir="/tmp/recsim/interest_exploration_full_slate_q" \
  --agent_name=full_slate_q \
  --environment_name=interest_exploration \
  --episode_log_file='episode_logs.tfrecord' \
  --gin_bindings=simulator.runner_lib.Runner.max_steps_per_episode=100 \
  --gin_bindings=simulator.runner_lib.TrainRunner.num_iterations=10 \
  --gin_bindings=simulator.runner_lib.TrainRunner.max_training_steps=100 \
  --gin_bindings=simulator.runner_lib.EvalRunner.max_eval_episodes=5

随后，您可以启动 TensorBoard 查看输出：

tensorboard --logdir=/tmp/recsim/interest_exploration_full_slate_q/ --port=2222

您还可以在 /tmp/recsim/episode_logs.tfrecord 中找到模拟的日志文件。

教程

要开始使用，请查看我们的 Colab 教程。在 RecSim：概览 中，我们简要介绍了 RecSim，并随后讨论了每个可配置组件：环境 和 推荐智能体。

文档

有关高层次设计，请参阅 白皮书。

RecSim 快速上手指南

RecSim 是一个可配置的推荐系统仿真平台，专为支持序列交互而设计。它允许研究人员和开发者构建反映特定用户行为及物品结构的仿真环境，非常适合用于探索强化学习（RL）在序列交互式推荐问题中的应用。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：推荐 Ubuntu 或 Windows（官方测试环境）。
• Python 版本：兼容 Python 3.x。
• 核心依赖：
  • TensorFlow：RecSim 依赖的 Dopamine 框架需要 TensorFlow 1.15.0（这是 1.x 系列的最终版本，包含 Ubuntu 和 Windows 的 GPU 支持）。请务必先安装此特定版本。
  • Dopamine：Google 开源的强化学习研究框架。

注意：由于依赖关系特殊，建议严格按照下方的安装顺序操作，以避免版本冲突。

安装步骤

1. 安装 Dopamine（前置依赖）

由于 PyPI 上的 Dopamine 版本可能滞后，官方建议直接从 GitHub 仓库安装最新版：

pip install git+https://github.com/google/dopamine.git

2. 安装 RecSim

完成上述步骤后，通过 pip 安装 RecSim：

pip install recsim

3. 获取示例代码（可选）

如果您希望运行官方提供的完整示例脚本，建议克隆源代码仓库：

git clone https://github.com/google-research/recsim
cd recsim/recsim

基本使用

安装完成后，您可以通过运行示例脚本来验证环境并启动一个简单的推荐仿真任务。以下命令将启动一个基于 interest_exploration 环境的 full_slate_q 代理进行训练和评估。

运行仿真示例

在项目根目录（recsim/recsim）下执行以下命令：

python main.py --logtostderr \
  --base_dir="/tmp/recsim/interest_exploration_full_slate_q" \
  --agent_name=full_slate_q \
  --environment_name=interest_exploration \
  --episode_log_file='episode_logs.tfrecord' \
  --gin_bindings=simulator.runner_lib.Runner.max_steps_per_episode=100 \
  --gin_bindings=simulator.runner_lib.TrainRunner.num_iterations=10 \
  --gin_bindings=simulator.runner_lib.TrainRunner.max_training_steps=100 \
  --gin_bindings=simulator.runner_lib.EvalRunner.max_eval_episodes=5

查看结果

1. 可视化监控：使用 TensorBoard 查看训练过程中的指标输出。

   tensorboard --logdir=/tmp/recsim/interest_exploration_full_slate_q/ --port=2222
   

   然后在浏览器中访问 http://localhost:2222。

2. 查看日志文件：仿真的详细交互日志已保存为 TFRecord 格式。

   • 路径：/tmp/recsim/episode_logs.tfrecord

进阶学习

对于想要自定义环境或开发新代理的开发者，官方提供了详细的 Colab 教程：

• 平台概览：RecSim_Overview.ipynb
• 开发环境：RecSim_Developing_an_Environment.ipynb
• 开发代理：RecSim_Developing_an_Agent.ipynb