这是我的学校项目。它专注于使用强化学习进行个性化新闻推荐。其主要特点在于尝试解决在线离策略学习问题，并采用动态生成的物品嵌入。我希望创建一个包含强化学习推荐领域最先进算法的库，提供您所需的抽象层次。

recnn.readthedocs.io

📊 功能概述

• 按需抽象：您可以导入整个算法（如DDPG），直接调用ddpg.learn(batch)；也可以分别导入网络和学习函数，为您的任务创建自定义加载器，或者完全自行定义所有内容。

• 示例中不包含任何冗余代码或变通方法：纯模型定义与算法本身都集中在单个文件中。我还撰写了几篇文章来解释其工作原理。

• 学习框架围绕序列或帧环境构建，支持ML20M等数据集。Seq和Frame决定了序列数据的长度类型，seq是完全动态长度的序列数据（开发中），而frame则是静态帧。

• 状态表示模块提供多种方法。对于序列状态表示，可以使用LSTM/RNN/GRU（开发中）。

• 使用Modin（Dask / Ray）实现并行数据加载及缓存。

• 支持PyTorch 1.7，并可进行TensorBoard可视化。

• 未来还将添加新的数据集。

📚 Medium文章

该仓库分为两部分：库（./recnn）和示例区（./examples），后者用于说明如何使用某些功能。

• 如果您熟悉推荐系统但对强化学习了解不多，以下内容几乎涵盖了入门所需的一切：

• REINFORCE推荐系统中的Top-K离策略修正：

已加入/将加入的算法

算法	论文	代码
深度Q学习（概念验证）	https://arxiv.org/abs/1312.5602	examples/0. Embeddings/ 1.DQN
深度确定性策略梯度	https://arxiv.org/abs/1509.02971	examples/1.Vanilla RL/DDPG
双延迟DDPG（TD3）	https://arxiv.org/abs/1802.09477	examples/1.Vanilla RL/TD3
软演员-评论家算法	https://arxiv.org/abs/1801.01290	examples/1.Vanilla RL/SAC
批量约束Q学习	https://arxiv.org/abs/1812.02900	examples/99.To be released/BCQ
REINFORCE Top-K离策略修正	https://arxiv.org/abs/1812.02353	examples/2. REINFORCE TopK

‍我参考过的仓库

• Sfujim的BCQ（尚未实现）
• Higgsfield的RL Adventure 2（极大启发）

🤔 这是什么

这是我的学校项目。它专注于使用强化学习进行个性化新闻推荐。其主要特点在于尝试解决在线离策略学习问题，并采用动态生成的物品嵌入。此外，由于我们使用的是数据集，因此不存在探索机制。在示例部分，我利用Google的BERT模型处理ML20M数据集，从电影描述中提取上下文信息，形成潜在向量表示。之后，您可以对新出现的、从未见过的物品应用相同的转换（因此嵌入是动态生成的）。如果您不想费心处理嵌入流程，我还提供了一个作为概念验证的DQN嵌入生成器。

✋ 入门指南

附注：图片可点击。直接链接如下：

欲了解更多关于recnn的信息，请阅读文档： recnn.readthedocs.io

⚙️ 安装

pip install git+git://github.com/awarebayes/RecNN.git

PyPi版本正在筹备中……

🚀 尝试演示

我搭建了一个Streamlit演示，以展示其功能。其中有一个“给我推荐一部电影”的功能！请注意，当您评分电影时，得分会如何变化。刚开始时，电影未被评分（默认评分为5/10），得分约为~40（欧氏距离），但随着您不断评分，得分会降至10以下，这表明预测更加个性化和精准。您还可以测试多样性、查看推荐的相关性、成对距离以及预测的准确性。

运行方式如下：

git clone git@github.com:awarebayes/RecNN.git 
cd RecNN && streamlit run examples/streamlit_demo.py

Docker镜像在此处可用

📁 下载资源

• MovieLens 20M
• 电影嵌入
• 其他数据
• 解析数据（omdb,tmdb）

📁 下载模型

📄 引用

如果您在学术出版物中使用了 RecNN，请使用以下 BibTeX 格式进行引用：

@misc{RecNN,
  author = {M Scherbina},
  title = {RecNN: 使用 PyTorch 的强化学习推荐},
  year = {2019},
  publisher = {GitHub},
  journal = {GitHub 仓库},
  howpublished = {\url{https://github.com/awarebayes/RecNN}},
}

RecNN 快速上手指南

RecNN 是一个基于 PyTorch 的开源库，专注于利用强化学习（Reinforcement Learning）进行个性化新闻/物品推荐。其核心特色是支持在线离策学习（Online Off-Policy Learning）以及动态生成的物品嵌入（Item Embeddings）。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统: Linux, macOS 或 Windows
• Python 版本: 建议 Python 3.6+
• 核心依赖:
  • PyTorch >= 1.7
  • Streamlit (用于运行演示)
  • Modin (可选，用于并行数据加载)
• 硬件建议: 推荐使用 NVIDIA GPU 以加速模型训练，但 CPU 亦可运行示例。

安装步骤

您可以通过直接安装 GitHub 仓库的最新版本来获取 RecNN（PyPI 版本即将发布）。

方式一：直接安装（推荐）

pip install git+git://github.com/awarebayes/RecNN.git

提示：国内用户若下载速度较慢，可尝试配置 pip 使用国内镜像源（如清华源、阿里源）加速基础依赖的安装，但仓库源码仍需从 GitHub 拉取。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple git+git://github.com/awarebayes/RecNN.git

方式二：克隆源码运行演示

如果您希望运行官方提供的 Streamlit 演示项目，需要克隆完整仓库：

git clone git@github.com:awarebayes/RecNN.git 
cd RecNN
pip install -r requirements.txt # 如果存在 requirements 文件，否则手动安装 streamlit

基本使用

RecNN 提供了高度灵活的抽象层级，您可以直接调用完整算法，也可以自定义网络结构和数据加载器。

1. 快速体验演示 (Demo)

安装完成后，您可以立即运行内置的电影推荐演示，观察强化学习代理如何根据用户的评分反馈调整推荐策略：

streamlit run examples/streamlit_demo.py

运行后浏览器将自动打开，您可以尝试对电影进行评分，观察推荐分数的变化。

2. 代码使用示例

RecNN 允许您像使用标准 PyTorch 模块一样使用强化学习算法。以下是一个简化的概念示例，展示如何导入算法并进行学习：

import recnn
from recnn import ddpg # 导入具体的算法，例如 DDPG

# 初始化环境与模型 (具体参数需参考文档或示例)
# 这里假设您已经准备好了符合库要求的数据加载器 (loader) 和环境 (env)
model = ddpg.DDPG(state_dim, action_dim, hidden_dim)

# 核心学习循环示例
# batch 是从您的数据加载器中获取的一批交互数据 (state, action, reward, next_state, done)
batch = loader.get_batch() 

# 执行一步学习
loss = model.learn(batch)

print(f"Training loss: {loss}")

3. 进阶用法提示

• 算法支持: 库中已实现 DQN, DDPG, TD3, SAC, REINFORCE (Top-K Off-Policy Correction) 等主流算法。
• 状态表示: 支持使用 LSTM/RNN/GRU 处理序列状态数据。
• 数据加载: 支持通过 Modin (基于 Dask/Ray) 进行并行数据加载和缓存，适用于 ML-20M 等大型数据集。
• 可视化: 原生支持 Tensorboard 进行训练过程可视化。

更多详细用法、网络结构定义及自定义环境构建，请参考官方文档：recnn.readthedocs.io 或查看仓库中的 examples 目录。