深度学习推荐系统评估

本仓库由米兰理工大学博士后研究员Maurizio Ferrari Dacrema开发。欲了解我们研究组的更多信息，请访问我们的网站。本仓库包含以下论文的源代码：

• “我们真的取得了很大进展吗？对近期神经网络推荐方法的令人担忧的分析”, RecSys 2019 BibTex。 全文可在ACM DL（开放）、ResearchGate或ArXiv上获取，我们实验的源代码及完整结果可在此处获得：[https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation]。 此外，还提供了幻灯片和海报。
• “推荐系统研究中可重复性和进展的令人不安的分析”。ACM TOIS 2021 论文可在ACM DL（开放）、ArXiv上获取。
• “对推荐系统中卷积与用户-物品嵌入映射价值主张的批判性审视”, CIKM 2020 ACM DL（开放）、ArXiv、BibTex，相关文档请参阅此处。
• “推荐系统研究中的方法论问题（扩展摘要）”, IJCAI 2020 BibTex、PDF。

在_run_example_usage.py_中提供了一个如何使用基线模型的小示例。

我们仍在积极致力于评估与可重复性方面的研究方向，并欢迎与其他研究人员开展合作。请关注我们在ResearchGate上的项目！

如果您使用本仓库或我们实现的基线算法，请务必引用我们的论文；如果使用我们移植的深度学习算法，也请记得引用原作者。上述论文的BibTex代码已附于每篇论文旁边。

更新日期：2021年6月11日： 一篇最新论文指出，在HR和NDCG的描述与实现中存在一些问题。 该问题仅出现在随机留出测试集的情况下，因此只影响极少数NDCG结果。目前我们已更新了实现以修复此问题，附加材料中包含了更新后的指标说明以及受影响的少数案例的结果。 不过，该研究的分析与结论并未受到影响。

完整结果与超参数

所有深度学习算法的完整结果及对应的超参数可在此处获取：[DL_Evaluation_TOIS_Additional_material.pdf]。 有关本仓库的安装要求及安装方法，请参阅下文的安装部分。

代码组织

本仓库分为多个子文件夹进行组织。

深度学习算法

深度学习算法均存放于_Conferences_文件夹中，并按其发表的会议进一步细分。

对于每个深度学习算法，仓库包含两个子文件夹：

• 名为“_github”的文件夹，包含完整的原始仓库；或名为“_original”的文件夹，包含作者应要求提供的源代码，并附有运行代码所需的少量修正。
• 名为“_our_interface”的文件夹，包含在我们框架中测试该算法所需的Python封装。该算法的主要类名后缀为“Wrapper”。此文件夹还包含用于以适当方式读取和分割数据的函数。

请注意，在某些情况下，原始仓库也包含了原始作者所用的数据分割，这些内容同样被纳入其中。

基线算法

诸如“KNN”、“GraphBased”、“MatrixFactorization”、“SLIM_BPR”、“SLIM_ElasticNet”和“EASE_R”等文件夹包含了我们在实验中使用的所有基线算法。 完整列表如下，所有算法的详细信息及参考文献请见这里：

• Random：随机推荐一系列项目；
• TopPop：推荐最受欢迎的项目；
• UserKNN：基于用户的协同KNN；
• ItemKNN：基于项目的协同KNN；
• UserKNN CBF：基于用户的混合内容型KNN；
• ItemKNN CBF：基于项目的混合内容型KNN；
• UserKNN CFCBF：基于用户的混合内容-协同KNN；
• ItemKNN CFCBF：基于项目的混合内容-协同KNN；
• P3alpha：基于图的协同算法；
• RP3beta：带重排序的基于图的协同算法；
• PureSVD：用户-项目矩阵的SVD分解；
• NMF：用户-项目矩阵的非负矩阵分解；
• IALS：隐式交替最小二乘法；
• MatrixFactorization BPR（BPRMF）：基于机器学习的矩阵分解，以BPR优化排序；
• MatrixFactorization FunkSVD：基于机器学习的矩阵分解，以MSE优化预测精度；
• EASE_R：协同浅层自编码器；
• SLIM BPR：基于项目的机器学习算法，以BPR优化排序；
• SLIM ElasticNet：基于项目的机器学习算法，以MSE优化预测精度。

以下相似性指标适用于所有KNN模型：余弦、调整余弦、皮尔逊相关系数、Dice、Jaccard、非对称余弦、Tversky、欧几里得

评估

_Base.Evaluation_文件夹包含两个评估器对象（EvaluatorHoldout、EvaluatorNegativeSample），它们计算我们报告的所有指标。

数据

每个实验所用的数据均由各深度学习算法文件夹内的特定_DataReader_对象收集。 如果可用，这些对象将加载原始数据分割；若不可用，则自动下载数据集并采用合适的方法进行分割。如果数据集无法自动下载，控制台会显示可手动下载数据集的链接以及用户应将压缩文件保存到何处的说明。 ConvNCF的数据无法自动处理，需手动下载这里，并解压至“Conferences/IJCAI/ConvNCF_github/Data”文件夹。

_Data_manager_文件夹包含若干个_DataReader_对象，每个对象对应一个特定数据集，用于读取那些我们没有原始分割的数据集。

每当下载并解析新数据集时，预处理后的数据会被保存在一个名为_Data_manager_split_datasets_的新文件夹中，该文件夹为每个数据集创建一个子文件夹。用于实验评估的数据分割则保存在相应算法的结果文件夹中的_data子文件夹内。

超参数优化

_ParameterTuning_文件夹包含所有用于调优基线算法超参数的代码。脚本_run_parameter_search_包含了我们所有实验中使用的固定超参数搜索空间。 _SearchBayesianSkopt_对象针对给定的推荐器实例和超参数空间进行超参数优化，保存探索过的配置及其对应的推荐质量。

如果您想运行ConvNCF，请确保将数据文件解压至Conferences/ConvNCF/ConvNCF_github/Data和ConvolutionRS/ConvNCF/ConvNCF_github/Data文件夹中。

运行实验

有关如何安装本仓库的信息，请参阅下面的安装部分。 安装完成后，您即可运行实验。

与基线算法的比较

我们论文中报道的所有深度学习算法相关的实验，均可通过运行相应的脚本执行，脚本名称前缀为_run__，后接会议名称和出版年份。 这些脚本具有以下布尔可选参数（除打印结果标志外，所有默认值均为False）：

• '-b' 或 '--baseline_tune'：运行基线超参数搜索
• '-a' 或 '--DL_article_default'：以原始超参数训练深度学习算法
• '-p' 或 '--print_results'：生成本次实验的LaTeX表格

例如，如果您想运行SpectralCF的所有实验，应运行以下命令：

python run_RecSys_18_SpectralCF.py -b True -a True -p True

该脚本将：

• 加载并分割数据；
• 对所有基线进行贝叶斯超参数优化，保存找到的最佳值；
• 运行深度学习算法的拟合与测试；
• 创建结果表格的LaTeX代码，并在需要时绘制数据分割图；
• 结果可在_result_experiments_文件夹中访问。

基于嵌入的CNN算法消融实验

我们论文中报道的所有与卷积算法相关的实验，均可通过运行相应的脚本完成。这些脚本均以__run__开头，后接会议名称和发表年份。

例如，如果您想运行ConvNCF的实验，应执行以下命令：

python run_IJCAI_18_ConvNCF_CNN_embeddings.py

默认情况下会启用基线模型的训练。如果您希望禁用基线训练，请使用以下命令：

python run_IJCAI_18_ConvNCF_CNN_embeddings.py --run_baselines False

该脚本将执行以下操作：

• 加载并分割数据。
• （如果需要）对所有基线模型进行贝叶斯超参数优化，并保存找到的最佳值。
• 如果需要，对嵌入进行预训练。
• 运行研究1，对预训练的嵌入进行20次置换，并针对每次置换评估预训练模型，分别在完整映射、对角线（逐元素）以及非对角线（嵌入相关性）上拟合卷积算法并进行评估。
• 运行研究2，读取之前生成的置换结果，并在指定的部分交互映射上拟合模型：完整映射、对角线（逐元素）、非对角线（嵌入相关性）。
• 生成结果表格的LaTeX代码。
• 结果可从_result_experiments_文件夹中获取。

安装说明

请注意，此仓库需要Python 3.6。

首先，我们建议您使用virtualenv（或conda等其他工具）为此项目创建一个环境。

首先克隆本仓库，然后进入仓库文件夹，并运行以下命令创建并激活新环境：

如果您使用的是virtualenv：

virtualenv -p python3 DLevaluation
source DLevaluation/bin/activate

如果您使用的是conda：

conda create -n DLevaluation python=3.6 anaconda
conda activate DLevaluation

接下来，如果您想在CPU上运行实验，应使用以下命令安装所有必需的依赖项和库。如果您希望使用GPU，请按照【GPU安装】小节中的说明安装依赖项。

pip install -r requirements.txt

至此，无论您选择在CPU还是GPU上运行，都已安装完所有依赖项，接下来您需要编译所有Cython算法。

要编译Cython算法，您必须先安装_gcc_和_python3 dev_。在Linux下，可通过以下命令安装：

sudo apt install gcc 
sudo apt-get install python3-dev

如果您使用的是Windows操作系统，安装过程会稍微复杂一些。您可以参考THIS指南。

现在，您可以运行以下命令编译所有Cython算法。该脚本将在当前激活的环境中进行编译。代码已针对Linux和Windows平台开发。编译过程中可能会出现一些警告。

python run_compile_all_cython.py

GPU安装说明

如果您想在GPU上运行实验，应按以下方式安装所需的依赖项和库。这些命令仅适用于使用conda管理虚拟环境的情况。您也可以使用其他工具或pip安装，但可能会变得更加复杂。

conda install tensorflow-gpu
conda install -c anaconda keras-gpu
conda install -c hcc dm-sonnet-gpu

pip install -r requirements_gpu.txt

Matlab引擎

除了仓库的依赖项外，KDD CollaborativeDL还需要Matlab引擎，因为该算法是在Matlab中开发的。要安装Matlab引擎，您可以使用Matlab发行版自带的脚本，具体步骤请参阅Matlab文档。

此外，该算法还需要GSL库，其安装路径可在我们的Python封装器的fit函数中作为参数提供。有关安装详情，请参阅原始CollaborativeDL README。

RecSys2019_DeepLearning_Evaluation 快速上手指南

环境准备

• 系统要求：Python 3.6（必须）
• 前置依赖：
  • Linux：gcc 和 python3-dev

    sudo apt install gcc
    sudo apt-get install python3-dev
    

  • Windows：需安装 Visual Studio C++ 构建工具（含 Cython 编译支持）

安装步骤

1. 克隆仓库并进入目录：

   git clone https://github.com/MaurizioFD/RecSys2019_DeepLearning_Evaluation.git
   cd RecSys2019_DeepLearning_Evaluation
   

2. 创建并激活虚拟环境（推荐使用 conda，国内用户可使用清华源加速）：

   conda create -n DLevaluation python=3.6 anaconda -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
   conda activate DLevaluation
   

3. 安装依赖（使用清华源加速 pip）：

   pip install -i https://pypi.tuna.tsinghua.edu.cn/simple -r requirements.txt
   

4. 编译 Cython 模块：

   python setup.py build_ext --inplace
   

注意：ConvNCF 数据需手动下载并解压至 Conferences/IJCAI/ConvNCF_github/Data，下载链接：https://polimi365-my.sharepoint.com/:u:/g/personal/10322330_polimi_it/EbAK6lYNM6NMh-b5tDUDC-kBxGLQkLmQYm0dXWuHaykQrQ?e=IOzbTW

基本使用

运行 SpectralCF 的完整实验（包含基线调参、原论文参数训练和结果输出）：

python run_RecSys_18_SpectralCF.py -b True -a True -p True

执行后：

• 数据自动下载并分割（如未提供原始划分）
• 基线模型超参数优化
• SpectralCF 模型训练与评估
• 结果保存至 result_experiments/ 文件夹
• 自动生成 LaTeX 表格用于论文排版

所有实验结果和超参数详见：DL_Evaluation_TOIS_Additional_material.pdf