RecLearn

简体中文 | English

RecLearn（推荐学习）总结了Recommender System with TF2.0中master分支的内容，是一个基于Python和TensorFlow2.x的推荐学习框架，专为学生和初学者设计。当然，如果你更熟悉master分支，也可以克隆整个项目，在示例中运行一些算法，并对模型和层的内容进行更新和修改。实现的推荐算法根据工业界的两个应用阶段进行分类：

• 匹配推荐阶段（Top-k推荐）
• 排序推荐阶段（CTR预测模型）

更新

2022年4月23日：更新所有匹配模型。

安装

包管理器

RecLearn已发布在PyPI上，因此你可以使用pip进行安装。

pip install reclearn

依赖环境：

• python3.8+
• Tensorflow2.5-GPU+/Tensorflow2.5-CPU+
• sklearn0.23+

本地安装

将RecLearn克隆到本地：

git clone -b reclearn git@github.com:ZiyaoGeng/RecLearn.git

快速入门

在example中，我们为每种推荐模型都提供了一个示例。

匹配

1. 划分数据集。

设置原始数据集的路径：

file_path = 'data/ml-1m/ratings.dat'

请将当前数据集划分为训练集、验证集和测试集。如果你使用的是movielens-1m、Amazon-Beauty、Amazon-Games和STEAM数据集，可以直接调用RecLearn中的data/datasets/*方法：

train_path, val_path, test_path, meta_path = ml.split_seq_data(file_path=file_path)

meta_path表示元文件的路径，其中存储了用户和物品的最大索引数。

2. 加载数据集。

完成训练集、验证集和测试集的加载，并为每个正样本生成若干负样本（随机采样）。数据格式为字典：

data = {'pos_item':, 'neg_item': , ['user': , 'click_seq': ,...]}

如果你正在构建序列推荐模型，需要引入点击序列。Reclearn提供了针对上述四种数据集的数据加载方法：

# 通用推荐模型
train_data = ml.load_data(train_path, neg_num, max_item_num)
# 序列推荐模型，并使用用户特征。
train_data = ml.load_seq_data(train_path, "train", seq_len, neg_num, max_item_num, contain_user=True)

3. 设置超参数。

模型需要指定所需的超参数。现在以BPR模型为例：

model_params = {
        'user_num': max_user_num + 1,
        'item_num': max_item_num + 1,
        'embed_dim': FLAGS.embed_dim,
        'use_l2norm': FLAGS.use_l2norm,
        'embed_reg': FLAGS.embed_reg
    }

4. 构建并编译模型。

选择或构建你需要的模型，并对其进行编译。以BPR为例：

model = BPR(**model_params)
model.compile(optimizer=Adam(learning_rate=FLAGS.learning_rate))

如果对模型结构有疑问，可以在编译后调用summary方法打印出来：

model.summary()

5. 训练模型并预测测试集。

for epoch in range(1, epochs + 1):
    t1 = time()
    model.fit(
        x=train_data,
        epochs=1,
        validation_data=val_data,
        batch_size=batch_size
    )
    t2 = time()
    eval_dict = eval_pos_neg(model, test_data, ['hr', 'mrr', 'ndcg'], k, batch_size)
    print('Iteration %d Fit [%.1f s], Evaluate [%.1f s]: HR = %.4f, MRR = %.4f, NDCG = %.4f'
          % (epoch, t2 - t1, time() - t2, eval_dict['hr'], eval_dict['mrr'], eval_dict['ndcg']))

排序

敬请期待……

结果

RecLearn设计的实验环境与某些论文中的实验环境不同，因此结果可能会存在一定的偏差。详细信息请参阅实验。

匹配

模型	ml-1m			Beauty			STEAM
	HR@10	MRR@10	NDCG@10	HR@10	MRR@10	NDCG@10	HR@10	MRR@10	NDCG@10
BPR	0.5768	0.2392	0.3016	0.3708	0.2108	0.2485	0.7728	0.4220	0.5054
NCF	0.5834	0.2219	0.3060	0.5448	0.2831	0.3451	0.7768	0.4273	0.5103
DSSM	0.5498	0.2148	0.2929	-	-	-	-	-	-
YoutubeDNN	0.6737	0.3414	0.4201	-	-	-	-	-	-
MIND(Error)	0.6366	0.2597	0.3483	-	-	-	-	-	-
GRU4Rec	0.7969	0.4698	0.5483	0.5211	0.2724	0.3312	0.8501	0.5486	0.6209
Caser	0.7916	0.4450	0.5280	0.5487	0.2884	0.3501	0.8275	0.5064	0.5832
SASRec	0.8103	0.4812	0.5605	0.5230	0.2781	0.3355	0.8606	0.5669	0.6374
AttRec	0.7873	0.4578	0.5363	0.4995	0.2695	0.3229	-	-	-
FISSA	0.8106	0.4953	0.5713	0.5431	0.2851	0.3462	0.8635	0.5682	0.6391

排行榜

模型	500w(Criteo)		Criteo
	Log Loss	AUC	Log Loss	AUC
FM	0.4765	0.7783	0.4762	0.7875
FFM	-	-	-	-
WDL	0.4684	0.7822	0.4692	0.7930
Deep Crossing	0.4670	0.7826	0.4693	0.7935
PNN	-	0.7847	-	-
DCN	-	0.7823	0.4691	0.7929
NFM	0.4773	0.7762	0.4723	0.7889
AFM	0.4819	0.7808	0.4692	0.7871
DeepFM	-	0.7828	0.4650	0.8007
xDeepFM	0.4690	0.7839	0.4696	0.7919

模型列表

1. 匹配阶段

论文｜模型	发表时间	作者
BPR: 基于隐式反馈的贝叶斯个性化排序｜MF-BPR	UAI, 2009	Steffen Rendle
基于神经网络的协同过滤｜NCF	WWW, 2017	Xiangnan He
使用点击数据学习用于网络搜索的深度结构化语义模型｜DSSM	CIKM, 2013	Po-Sen Huang
用于YouTube推荐的深度神经网络｜ YoutubeDNN	RecSys, 2016	Paul Covington
基于会话的推荐与循环神经网络｜GUR4Rec	ICLR, 2016	Balázs Hidasi
自注意力序列推荐｜SASRec	ICDM, 2018	UCSD
基于卷积序列嵌入的个性化Top-N序列推荐｜Caser	WSDM, 2018	Jiaxi Tang
基于自注意力度量学习的下一个物品推荐｜AttRec	AAAAI, 2019	Shuai Zhang
FISSA：融合物品相似度模型与自注意力网络的序列推荐｜FISSA	RecSys, 2020	Jing Lin

2. 排序阶段

论文｜模型	发表时间	作者
因子分解机｜FM	ICDM, 2010	Steffen Rendle
面向CTR预测的领域感知因子分解机｜FFM	RecSys, 2016	Criteo Research
宽&深学习用于推荐系统｜WDL	DLRS, 2016	Google Inc.
Deep Crossing：无需手工特征组合的Web规模建模｜Deep Crossing	KDD, 2016	Microsoft Research
基于产品的神经网络用于用户响应预测｜PNN	ICDM, 2016	上海交通大学
广告点击预测的深度交叉网络｜DCN	ADKDD, 2017	斯坦福大学｜Google Inc.
用于稀疏预测分析的神经因子分解机｜NFM	SIGIR, 2017	Xiangnan He
注意力因子分解机：通过注意力网络学习特征交互权重｜AFM	IJCAI, 2017	浙江大学｜新加坡国立大学
DeepFM：基于因子分解机的CTR预测神经网络｜DeepFM	IJCAI, 2017	哈尔滨工业大学｜华为诺亚方舟实验室
xDeepFM：结合显式和隐式特征交互的推荐系统｜xDeepFM	KDD, 2018	中国科学技术大学
用于点击率预测的深度兴趣网络｜DIN	KDD, 2018	阿里巴巴集团

讨论

1. 如果您对该项目有任何建议或问题，可以在Issue中留言。
2. 微信：

RecLearn 快速上手指南

RecLearn 是一个基于 Python 和 TensorFlow 2.x 的推荐系统学习框架，专为初学者和学生设计。它涵盖了工业界推荐的两个核心阶段：召回（Matching）与排序（Ranking）。

1. 环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux / macOS / Windows
• Python 版本：3.8 或更高版本
• 核心依赖：
  • TensorFlow 2.5+ (支持 GPU 或 CPU)
  • scikit-learn 0.23+
  • NumPy 1.17+
  • pandas 1.0.5+

提示：建议使用虚拟环境（如 venv 或 conda）进行隔离安装。

2. 安装步骤

您可以通过 PyPI 直接安装，也可以从源码克隆以获取最新示例代码。

方式一：通过 pip 安装（推荐）

pip install reclearn

方式二：本地源码安装

如果您需要运行官方示例或修改模型底层代码，建议克隆仓库：

git clone -b reclearn git@github.com:ZiyaoGeng/RecLearn.git
cd RecLearn

3. 基本使用

以下以**召回阶段（Matching）**的经典模型 BPR 为例，展示从数据加载到模型训练的最简流程。

第一步：划分数据集

设置原始数据路径，并调用内置方法将数据划分为训练集、验证集和测试集。此处以 ml-1m 数据集为例：

from reclearn.data import ml

file_path = 'data/ml-1m/ratings.dat'

# 自动划分数据集，meta_path 包含用户和物品的最大索引信息
train_path, val_path, test_path, meta_path = ml.split_seq_data(file_path=file_path)

第二步：加载数据

加载处理后的数据，并为每个正样本生成指定数量的负样本（用于 BPR 损失计算）。

neg_num = 4  # 负采样数量
max_item_num = ... # 从 meta_path 解析获取的最大物品数

# 加载通用推荐模型数据
train_data = ml.load_data(train_path, neg_num, max_item_num)
val_data = ml.load_data(val_path, neg_num, max_item_num)
test_data = ml.load_data(test_path, neg_num, max_item_num)

第三步：配置超参数

定义模型所需的参数字典：

model_params = {
    'user_num': max_user_num + 1,
    'item_num': max_item_num + 1,
    'embed_dim': 64,          # 嵌入维度
    'use_l2norm': True,       # 是否使用 L2 正则
    'embed_reg': 1e-4         # 正则化系数
}

第四步：构建与编译模型

实例化模型并使用 Adam 优化器进行编译：

from reclearn.models.matching import BPR
from tensorflow.keras.optimizers import Adam

model = BPR(**model_params)
model.compile(optimizer=Adam(learning_rate=0.001))

# 可选：查看模型结构
# model.summary()

第五步：训练与评估

执行训练循环，并在每个 epoch 结束后在测试集上评估指标（HR, MRR, NDCG）：

import time
from reclearn.evaluation import eval_pos_neg

epochs = 10
batch_size = 256
k = 10 # Top-K

for epoch in range(1, epochs + 1):
    t1 = time.time()
    
    # 训练
    model.fit(
        x=train_data,
        epochs=1,
        validation_data=val_data,
        batch_size=batch_size
    )
    
    t2 = time.time()
    
    # 评估
    eval_dict = eval_pos_neg(model, test_data, ['hr', 'mrr', 'ndcg'], k, batch_size)
    
    print('Iteration %d Fit [%.1f s], Evaluate [%.1f s]: HR = %.4f, MRR = %.4f, NDCG = %.4f'
          % (epoch, t2 - t1, time.time() - t2, eval_dict['hr'], eval_dict['mrr'], eval_dict['ndcg']))

注意：排序阶段（Ranking）的使用逻辑类似，主要区别在于数据加载格式和评估指标（如 Log Loss, AUC），具体可参考仓库中的 example 目录。