推荐系统

这是一个关于使用机器学习和深度学习技术构建推荐系统的研讨会。

• 理论：ML与DL的公式化、预测与排序、相似度、有偏与无偏
• 范式：基于内容的推荐、协同过滤、基于知识的推荐、混合与集成方法
• 数据：表格数据、图像、文本（序列）
• 模型：（深度）矩阵分解、自编码器、Wide & Deep、排序学习、序列建模
• 方法：显式反馈与隐式反馈、用户-物品矩阵、嵌入、卷积、循环网络、领域信号：位置、时间、上下文、社交等
• 流程：搭建环境、编码与嵌入、设计、训练与选择、服务与扩展、评估、测试与改进
• 工具：Python数据栈：numpy、pandas、scikit-learn、keras、spacy、implicit、lightfm

笔记与幻灯片

• 基础知识：深度学习
• 2019年人工智能大会：白板笔记 | 课堂笔记本

笔记本

• 电影 - Movielens

  • 01-获取数据
  • 02-数据增强
  • 03-数据清洗
  • 04-特征转换
  • 05-模型评估
  • 06-基准模型
  • 07-特征提取器
  • 08-矩阵分解模型
  • 09-带偏置的矩阵分解模型
  • 10-NNMF矩阵分解模型
  • 11-深度矩阵分解模型
  • 12-神经协同过滤模型
  • 13-隐式矩阵分解模型
  • 14-图像特征
  • 15-文本嵌入

• 电商 - YooChoose

  • 01-数据准备
  • 02-模型

• 新闻 - Hackernews

• 商品 - Groceries

Python库

深度推荐库

• Tensorrec - 基于TensorFlow
• Spotlight - 基于PyTorch
• TFranking - 基于TensorFlow（排序学习）

基于矩阵分解的库

• Implicit - 隐式矩阵分解
• QMF - 隐式矩阵分解
• Lightfm - 用于混合推荐
• Surprise - 类似scikit-learn的API，用于传统算法

相似度搜索库

• Annoy - 近似最近邻
• NMSLib - kNN方法
• FAISS - 相似度搜索与聚类

基于内容的库

• Cornac - 利用辅助数据（图像、文本、社交网络）

学习资源

参考幻灯片

• Balázs Hidasi的推荐系统中的深度学习
• Xavier Amatriain分享的工业界推荐系统经验
• James Kirk的推荐系统架构
• Raimon和Basilico的推荐系统概述

基准测试

• Movielens的传统设置基准测试
• 微软在2019年KDD会议上关于推荐系统的教程

算法与方法

• 针对隐式反馈数据集的协同过滤
• 用于隐式数据的贝叶斯个性化排序
• 逻辑矩阵分解
• 神经网络矩阵分解
• 神经协同过滤
• 变分自编码器用于协同过滤

评估

• 推荐系统的评估

Recommendation 系统快速上手指南

本指南基于开源项目 recommendation，旨在帮助开发者快速掌握利用机器学习和深度学习构建推荐系统的核心流程。该项目涵盖了从理论基础、数据预处理到模型训练（如矩阵分解、神经协同过滤）及评估的完整工作流。

环境准备

在开始之前，请确保您的开发环境满足以下要求：

• 操作系统：Linux, macOS 或 Windows (推荐 WSL2)
• Python 版本：Python 3.6 - 3.9 (兼容主流深度学习库)
• 前置依赖：
  • 基础数据栈：numpy, pandas, scikit-learn
  • 深度学习框架：keras (或 tensorflow), pytorch (部分高级库需要)
  • NLP 处理：spacy
  • 专用推荐库：implicit, lightfm

建议创建一个独立的虚拟环境以避免依赖冲突：

python -m venv rec-env
source rec-env/bin/activate  # Windows 用户请使用: rec-env\Scripts\activate

安装步骤

1. 克隆项目代码

首先获取源代码及示例 Notebook：

git clone https://github.com/pipalacademy/recommendation.git
cd recommendation

2. 安装 Python 依赖

项目主要依赖标准的 Python 数据科学栈。推荐使用国内镜像源（如清华源）加速安装：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple numpy pandas scikit-learn keras spacy implicit lightfm jupyter matplotlib

注：若需运行基于 PyTorch 的高级示例（如 Spotlight 相关笔记），请额外安装 torch。

3. 下载示例数据

本项目包含多个基于真实数据集的教程（MovieLens, YooChoose 等）。数据通常在运行第一个 Notebook 时自动下载，或者您可以手动查看 MovieLens/01-Acquire.ipynb 中的获取逻辑。

基本使用

本项目以 Jupyter Notebook 形式组织学习路径，最适合的学习方式是从 MovieLens 数据集的基础案例开始。

启动 Jupyter Lab

进入项目目录并启动服务：

jupyter lab

运行第一个示例：数据获取与基线模型

在浏览器打开的界面中，依次执行以下 Notebook 以体验完整流程：

1. 数据获取与清洗 打开 MovieLens/01-Acquire.ipynb 和 MovieLens/02-Augment.ipynb。 这些脚本将演示如何加载用户 - 物品评分矩阵，并进行基础的数据增强。

2. 构建基线模型 (矩阵分解) 打开 MovieLens/06-Model-Baseline.ipynb 或 MovieLens/08-Model-Matrix-Factorization.ipynb。 以下是核心代码逻辑的简化示例（基于 implicit 库）：

import implicit
from implicit.recommender import Recommender
from scipy.sparse import coo_matrix

# 假设 user_item_matrix 是一个稀疏的用户 - 物品交互矩阵 (行：用户，列：物品，值：评分/点击次数)
# 这里演示如何初始化一个交替最小二乘法 (ALS) 模型
model = implicit.als.AlternatingLeastSquares(factors=50, regularization=0.01)

# 训练模型 (注意：implicit 库通常期望 CSR 或 COO 格式的稀疏矩阵)
model.fit(user_item_matrix)

# 为指定用户生成推荐 (user_id, N)
# 返回前 N 个推荐物品的 ID 和预测分数
user_id = 123
recommendations = model.recommend(
    userid=user_id, 
    user_items=user_item_matrix.getrow(user_id), 
    N=10
)

print(f"Top 10 recommendations for user {user_id}:")
for item_id, score in recommendations:
    print(f"Item ID: {item_id}, Score: {score}")

3. 进阶模型尝试 完成基线后，可尝试更复杂的模型：
   • 深度矩阵分解: MovieLens/11-Model-Deep-Factorisation.ipynb
   • 神经协同过滤 (Neural CF): MovieLens/12-Neural-CF.ipynb
   • 隐式反馈处理: MovieLens/13-Implicit-CF.ipynb

其他场景

项目还包含了电商 (YooChoose)、新闻 (HackerNews) 和杂货 (Groceries) 等不同领域的案例，位于对应的文件夹中，结构与 MovieLens 类似，可根据业务需求参考相应 Notebook。