VirtualTaobao

本项目提供了基于全球最大在线零售平台之一——淘宝网的真实数据训练而成的VirtualTaobao模拟器。在淘宝中，当用户输入查询时，推荐系统会根据查询内容和用户画像返回一个商品列表。该系统的目标是生成高质量的商品列表，以提高用户点击这些商品的概率。

借助VirtualTaobao模拟器，用户可以进入一个与真实淘宝环境几乎相同的“实时”场景。每次会随机生成一名虚拟用户，该用户发起一次查询，推荐系统则需要返回一个商品列表。随后，虚拟用户将像真实用户一样决定是否点击列表中的商品。

VirtualTaobao的训练方法详见：

Jing-Cheng Shi, Yang Yu, Qing Da, Shi-Yong Chen, and An-Xiang Zeng. Virtual-Taobao: 用于强化学习的真实世界在线零售环境虚拟化。载于：第33届美国人工智能协会会议（AAAI’19）论文集，夏威夷檀香山，2019年。

我们在本仓库中发布了适用于推荐系统研究和强化学习研究的VirtualTaobao模型（参见下方的监督学习和强化学习用例）。任何人都可以免费使用该模拟器，但需正确引用上述文献。

目前提供的版本为VirtualTaobao V0模型（VirtualTB-v0），该模型基于一份中等规模的匿名化淘宝数据集进行训练。更大规模的模型将很快发布。

安装

pip install -e .

模拟环境

Virtual Taobao模拟了用户、商品以及推荐系统。

• 每个用户关联11个静态属性（已通过独热编码转换为88维二值特征）和3维动态属性。这里的“静态/动态”是指特征在交互过程中是否会变化。这些属性包括用户的年龄、性别、浏览历史等。
• 每件商品关联27维特征，用于表示价格、销量、点击率等信息。（出于隐私考虑，商品的具体内容并未公开。）

系统与用户之间的交互过程如下：

1. Virtual Taobao会采样生成一个包含用户描述及查询的特征向量。
2. 系统根据查询检索相关商品，形成完整的商品集合。
3. 系统使用一个模型为每个商品的特征分配一个权重向量。
4. 对于每件商品，系统计算其权重向量与商品特征的点积，并选出得分最高的前10件商品。
5. 将这10件商品推送给用户。随后，用户可以选择点击部分商品（产生CTR++）、翻页继续浏览（重新从步骤2开始，用户特征可能发生变化），或退出平台（会话结束）。

在上述过程中，步骤3中的模型需要进行训练。该模型接收用户特征和商品集合作为输入，输出一个27维的权重向量。

监督学习用法

数据集位于：

virtualTB/SupervisedLearning/dataset.txt

数据集的每一行由特征、标签和点击次数组成，各字段之间以制表符分隔。

以下代码展示了如何使用PyTorch从该数据集中训练模型：

virtualTB/SupervisedLearning/main.py

其中包含了从数据加载、模型训练到模型测试的完整流程。

强化学习用法

以下是将VirtualTaobao作为强化学习环境使用的最简单示例。每一步都随机选择一个动作来进行推荐。

import gym
import virtualTB

env = gym.make('VirtualTB-v0')
print(env.action_space)
print(env.observation_space)
print(env.observation_space.low)
print(env.observation_space.high)
state = env.reset()
while True:
    env.render()
    action = env.action_space.sample()
    state, reward, done, info = env.step(action)
    
    if done: break
env.render()

更完整的示例，采用DDPG强化学习算法并结合PyTorch实现，位于：

virtualTB/ReinforcementLearning/main.py

致谢

本项目是南京大学与阿里巴巴集团合作的成果。

VirtualTaobao 快速上手指南

简介

VirtualTaobao 是一个基于真实淘宝（Taobao）数据训练的环境模拟器。它模拟了虚拟用户与推荐系统的交互过程，适用于推荐系统研究和强化学习（Reinforcement Learning）研究。开发者可以通过该工具访问一个类似真实淘宝的“实时”环境，测试推荐算法的效果。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：支持 Python 的主流操作系统（Linux/macOS/Windows）。
• 编程语言：Python 3.x。
• 依赖库：
  • gym：用于构建强化学习环境。
  • PyTorch：用于模型训练（参考文档中的示例代码）。
  • 其他项目依赖将在安装时自动处理。

安装步骤

进入项目根目录，执行以下命令进行安装：

pip install -e .

提示：若下载速度较慢，建议在国内网络环境下配置 Python 包镜像源（如清华源、阿里源等），但上述命令需保持原样以确保兼容性。

基本使用

VirtualTaobao 提供了基于 gym 的标准接口，可轻松集成到强化学习流程中。以下是最简单的使用示例，展示如何初始化环境并进行随机动作采样：

import gym
import virtualTB

env = gym.make('VirtualTB-v0')
print(env.action_space)
print(env.observation_space)
print(env.observation_space.low)
print(env.observation_space.high)
state = env.reset()
while True:
    env.render()
    action = env.action_space.sample()
    state, reward, done, info = env.step(action)
    
    if done: break
env.render()

如需更完整的强化学习算法示例（如 DDPG + PyTorch），可参考仓库中的脚本：

virtualTB/ReinforcementLearning/main.py

此外，项目也支持监督学习场景，相关数据集位于：

virtualTB/SupervisedLearning/dataset.txt