LLMRec：用于推荐的大语言模型与图增强

这是针对 WSDM 2024 论文 LLMRec：用于推荐的大语言模型与图增强 的 PyTorch 实现。

Wei Wei, Xubin Ren, Jiabin Tang, Qingyong Wang, Lixin Su, Suqi Cheng, Junfeng Wang, Dawei Yin 和 Chao Huang*。 (*通讯作者)

数据智能实验室@香港大学, 百度公司。

本仓库托管了 LLMRec 的代码、原始数据以及增强后的数据。

---

LLMRec 是一种新颖的框架，通过将三种简单而有效的基于大语言模型的图增强策略应用于推荐系统，从而提升推荐效果。LLMRec 充分利用在线平台（如 Netflix、MovieLens）中的内容，从自然语言的角度出发，通过 i) 强化用户-物品交互边，ii) 增强物品节点属性，iii) 进行用户节点画像，来对交互图进行增强。

---

🎉 新闻 📢📢

• [2024.3.20] 🚀🚀 📢📢📢📢🌹🔥🔥🚀🚀 由于基线 LATTICE 和 MMSSL 需要一些小的修改，我们提供了只需修改数据集路径即可轻松运行的代码。

• [2023.11.3] 🚀🚀 发布了用于构建提示词的脚本。

• [2023.11.1] 🔥🔥 发布了多模态数据集（Netflix、MovieLens），包括文本数据和视觉数据。

• [2023.11.1] 🚀🚀 发布了由 gpt-3.5-turbo-0613 增强的文本数据，以及由 text-embedding-ada-002 增强的嵌入数据。

• [2023.10.28] 🔥🔥 我们的 LLMRec 完整论文已在 LLMRec：用于推荐的大语言模型与图增强 中发布。

• [2023.10.28] 🚀🚀 发布了 LLMRec 的代码。

👉 待办事项

• 提供不同规模的数据集版本。
• ...

---

依赖项

pip install -r requirements.txt

使用方法

第一阶段：基于大语言模型的数据增强

cd LLMRec/LLM_augmentation/
python ./gpt_ui_aug.py
python ./gpt_user_profiling.py
python ./gpt_i_attribute_generate_aug.py

第二阶段：使用 LLM 增强数据进行推荐训练

cd LLMRec/
python ./main.py --dataset {DATASET}

支持的数据集：netflix, movielens

以 'netflix' 数据集为例的具体代码执行：

# LLMRec
python ./main.py

# 不使用 u-i
python ./main.py --aug_sample_rate=0.0

# 不使用 u
python ./main.py --user_cat_rate=0

# 不使用 u&i
python ./main.py --user_cat_rate=0  --item_cat_rate=0

# 不进行剪枝
python ./main.py --prune_loss_drop_rate=0

---

数据集

├─ LLMRec/ 
    ├── data/
      ├── netflix/
      ...

多模态数据集

🌹🌹 如果您使用 'netflix' 数据集，请引用我们的论文~ ❤️

我们基于在 Kaggle 网站上发布的原始 Netflix Prize Data 收集了一个多模态数据集。该数据格式可以直接兼容最先进的多模态推荐模型，如 LLMRec、MMSSL、LATTICE、MICRO 等，无需任何额外的数据预处理。

文本模态： 我们在 "item_attribute.csv" 文件中发布了从原始数据集中整理出的物品信息。此外，我们还将经过大语言模型增强的文本信息整合到了 "augmented_item_attribute_agg.csv" 文件中。（以下三张图片分别展示了 (1) Kaggle 网站上关于 Netflix 的描述，(2) 原始 Netflix Prize Data 中的文本信息，以及 (3) 经过大语言模型增强的文本信息。）

视觉模态： 我们在 "Netflix_Posters" 文件夹中发布了通过网络爬取获得的视觉信息。（下图展示了根据 Netflix Prize Data 中的物品信息通过网络爬取得到的海报。）

原始多模态数据集与增强数据集

下载 Netflix 数据集。

🚀🚀 我们提供了处理后的数据（即协同过滤训练数据及基本的用户-物品交互信息、包含物品图像和文本的原始多模态数据、编码后的视觉/文本特征，以及经大语言模型增强的文本/嵌入）。 🌹 我们希望为社区做出贡献，并促进您的研究 🚀🚀 ~

• netflix: Google Drive Netflix. 🌟(图像&文本)

对多模态内容进行编码。

我们分别使用CLIP-ViT和Sentence-BERT作为视觉侧信息和文本侧信息的编码器。

---

提示与完成示例

基于LLM的隐式反馈增强

提示

根据用户的观影历史，为用户推荐电影，每部电影需包含片名、年份和类型。历史：[332]《心灵奇旅》（1993），喜剧|奇幻 [364]《扫帚男》（2002），喜剧|剧情|浪漫 候选：[121]《吸血鬼情人》（1970），恐怖 [155]《水塘历险记》（2003），纪录片 [248]《看不见的客人》（2016），犯罪、剧情、悬疑 请从候选中给出用户喜欢和不喜欢的电影索引，仅以[]形式输出。

完成

[248] [121]

基于LLM的用户画像增强

提示

根据用户的观影历史，生成用户画像，每部电影需包含片名、年份和类型。历史：[332]《心灵奇旅》（1993），喜剧|奇幻 [364]《扫帚男》（2002），喜剧|剧情|浪漫 请输出以下用户信息，输出格式为：{age: , gender: , liked genre: , disliked genre: , liked directors: , country: , language: }

完成

{age: 50, gender: female, liked genre: 喜剧|奇幻, 喜剧|剧情|浪漫, disliked genre: 惊悚, 恐怖, liked directors: Ron Underwood, country: 加拿大, 美国, language: 英语}

基于LLM的物品属性增强

提示

提供给定电影的相关信息。[332]《心灵奇旅》（1993），喜剧|奇幻 需查询的信息为：导演、国家、语言。请以“导演，国家，语言”的形式输出。

完成

Ron Underwood, 美国, 英语

增强数据

增强的隐式反馈（边）

对于每个用户，0代表正样本，1代表负样本。

增强的用户画像（用户节点）

对于每个用户，字典存储了增强后的信息，如‘年龄’、‘性别’、‘喜欢的类型’、‘不喜欢的类型’、‘喜欢的导演’、‘国家’和‘语言’。

增强的物品属性

对于每个物品，字典存储了增强后的信息，如‘导演’、‘国家’和‘语言’。

用于基于LLM的隐式反馈增强的候选准备

步骤1：选择基础模型，如MMSSL或LATTICE

步骤2：获取用户嵌入和物品嵌入

步骤3：生成候选

      _, candidate_indices = torch.topk(torch.mm(G_ua_embeddings, G_ia_embeddings.T), k=10)  
      pickle.dump(candidate_indices.cpu(), open('./data/' + args.datasets +  '/candidate_indices','wb'))

具体候选数据示例。

In [3]: candidate_indices
Out[3]: 
tensor([[ 9765,  2930,  6646,  ..., 11513, 12747, 13503],
        [ 3665,  8999,  2587,  ...,  1559,  2975,  3759],
        [ 2266,  8999,  1559,  ...,  8639,   465,  8287],
        ...,
        [11905, 10195,  8063,  ..., 12945, 12568, 10428],
        [ 9063,  6736,  6938,  ...,  5526, 12747, 11110],
        [ 9584,  4163,  4154,  ...,  2266,   543,  7610]])

In [4]: candidate_indices.shape
Out[4]: torch.Size([13187, 10])

---

引用

如果您认为本工作对您的研究有所帮助，请考虑引用我们的论文。

@article{wei2023llmrec,
  title={LLMRec: Large Language Models with Graph Augmentation for Recommendation},
  author={Wei, Wei and Ren, Xubin and Tang, Jiabin and Wang, Qinyong and Su, Lixin and Cheng, Suqi and Wang, Junfeng and Yin, Dawei and Huang, Chao},
  journal={arXiv preprint arXiv:2311.00423},
  year={2023}
}

致谢

本代码的结构主要基于MMSSL、LATTICE、MICRO。感谢他们的工作。

LLMRec 快速上手指南

LLMRec 是一个利用大语言模型（LLM）进行图增强的推荐系统框架。它通过三种策略增强交互图：强化用户 - 物品交互边、增强物品节点属性以及构建用户画像。

环境准备

系统要求

• 操作系统: Linux / macOS / Windows (推荐 Linux)
• Python: 3.8 或更高版本
• GPU: 推荐使用支持 CUDA 的 NVIDIA GPU 以加速训练和推理

前置依赖

本项目基于 PyTorch 构建，主要依赖如下：

• PyTorch
• Transformers (用于调用 LLM 或编码器)
• Scikit-learn, Pandas, Numpy 等数据处理库
• CLIP-ViT 和 Sentence-BERT (用于多模态编码，代码中会自动处理或需手动下载模型权重)

注意：若需复现完整的 LLM 数据增强阶段（Stage 1），您需要拥有 OpenAI API Key 或其他兼容的大模型接口权限。若仅使用已提供的增强数据进行训练（Stage 2），则无需 API Key。

安装步骤

1. 克隆仓库

   git clone https://github.com/HKUDS/LLMRec.git
   cd LLMRec
   

2. 安装依赖 建议使用虚拟环境（如 conda 或 venv），然后安装 requirements.txt 中的依赖。

   国内用户加速建议：使用清华或阿里镜像源加速 pip 安装。

   pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
   

3. 数据准备 项目支持 netflix 和 movielens 数据集。

   • 自动下载：部分处理后的数据可能包含在代码逻辑中。
   • 手动下载：如需完整的多模态数据（图片、文本）及 LLM 增强后的数据，请访问 Google Drive 链接 下载 netflix 数据集，并将其解压至 LLMRec/data/netflix/ 目录下。

   目录结构应如下：

   LLMRec/
   ├── data/
   │   ├── netflix/
   │   │   ├── ... (原始数据及增强数据文件)
   

基本使用

LLMRec 的使用分为两个阶段：LLM 数据增强（可选，若已有增强数据可跳过）和 推荐模型训练。

阶段 1：基于 LLM 的数据增强（可选）

如果您需要从头生成增强数据（需要配置 API Key），请运行以下脚本。 注意：此步骤耗时较长且产生 API 费用，大多数用户可直接使用官方提供的增强数据跳过此步。

cd LLMRec/LLM_augmentation/
# 设置您的 API KEY (以 OpenAI 为例)
export OPENAI_API_KEY="your_api_key_here"

# 执行增强脚本
python ./gpt_ui_aug.py
python ./gpt_user_profiling.py
python ./gpt_i_attribute_generate_aug.py

阶段 2：推荐模型训练

进入主目录，使用增强后的数据训练推荐模型。

基础命令：

cd LLMRec/
python ./main.py --dataset netflix

注：支持的 dataset 参数为 netflix 或 movielens。

消融实验示例（控制增强策略）： 您可以通过参数关闭特定的增强模块以进行对比实验：

# 完整模型 (LLMRec)
python ./main.py --dataset netflix

# 关闭用户 - 物品交互边增强 (w/o-u-i)
python ./main.py --dataset netflix --aug_sample_rate=0.0

# 关闭用户画像增强 (w/o-u)
python ./main.py --dataset netflix --user_cat_rate=0

# 同时关闭用户画像和物品属性增强 (w/o-u&i)
python ./main.py --dataset netflix --user_cat_rate=0 --item_cat_rate=0

# 关闭剪枝损失 (w/o-prune)
python ./main.py --dataset netflix --prune_loss_drop_rate=0

运行结束后，模型将在默认路径下保存检查点，并在终端输出评估指标（如 Recall, NDCG 等）。