tensorflow-DeepFM

本项目包含了 DeepFM（基于因子分解机的神经网络）[1] 的 TensorFlow 实现。

新闻

• DeepFM 的一个修改版本被用于赢得 Kaggle Mercari 价格建议挑战赛 的第 4 名。查看 此处 的幻灯片，了解我们如何处理包含序列的字段，以及如何将各种 FM（因子分解机）组件整合到深度模型中。

使用方法

输入格式

本实现要求输入数据采用以下格式：

• Xi: [[ind1_1, ind1_2, ...], [ind2_1, ind2_2, ...], ..., [indi_1, indi_2, ..., indi_j, ...], ...]
  • indi_j 是数据集中样本 i 的特征字段 j 的特征索引
• Xv: [[val1_1, val1_2, ...], [val2_1, val2_2, ...], ..., [vali_1, vali_2, ..., vali_j, ...], ...]
  • vali_j 是数据集中样本 i 的特征字段 j 的特征值
  • vali_j 可以是二进制（1/0，用于二进制/类别特征）或浮点数（例如 10.24，用于数值特征）
• y: 数据集中每个样本的目标值（分类任务为 1/0，回归任务为数值）

请参阅 example/DataReader.py 查看如何为 DeepFM 准备所需格式数据的示例。

初始化并训练模型

import tensorflow as tf
from sklearn.metrics import roc_auc_score

# params
dfm_params = {
    "use_fm": True,
    "use_deep": True,
    "embedding_size": 8,
    "dropout_fm": [1.0, 1.0],
    "deep_layers": [32, 32],
    "dropout_deep": [0.5, 0.5, 0.5],
    "deep_layers_activation": tf.nn.relu,
    "epoch": 30,
    "batch_size": 1024,
    "learning_rate": 0.001,
    "optimizer_type": "adam",
    "batch_norm": 1,
    "batch_norm_decay": 0.995,
    "l2_reg": 0.01,
    "verbose": True,
    "eval_metric": roc_auc_score,
    "random_seed": 2017
}

# prepare training and validation data in the required format
Xi_train, Xv_train, y_train = prepare(...)
Xi_valid, Xv_valid, y_valid = prepare(...)

# init a DeepFM model
dfm = DeepFM(**dfm_params)

# fit a DeepFM model
dfm.fit(Xi_train, Xv_train, y_train)

# make prediction
dfm.predict(Xi_valid, Xv_valid)

# evaluate a trained model
dfm.evaluate(Xi_valid, Xv_valid, y_valid)

您可以在训练中如下使用 early_stopping（早停）：

dfm.fit(Xi_train, Xv_train, y_train, Xi_valid, Xv_valid, y_valid, early_stopping=True)

您可以如下在整个训练集和验证集上重新拟合模型：

dfm.fit(Xi_train, Xv_train, y_train, Xi_valid, Xv_valid, y_valid, early_stopping=True, refit=True)

您可以通过将参数 use_fm 或 use_dnn 设置为 False 来仅使用 FM（因子分解机）或 DNN（深度神经网络）部分。

回归

本实现也支持回归任务。要将 DeepFM 用于回归，您可以将 loss_type 设置为 mse（均方误差）。相应地，您应该使用用于回归的 eval_metric（评估指标），例如 mse 或 mae（平均绝对误差）。

示例

文件夹 example 包含了 DeepFM/FM/DNN 模型在 Kaggle Porto Seguro 安全驾驶员预测竞赛 中的使用示例。

请从竞赛网站下载数据并将其放入 example/data 文件夹中。

要为此数据集训练 DeepFM 模型，运行

$ cd example
$ python main.py

请参阅 example/DataReader.py 了解如何将原始数据集解析为 DeepFM 所需的格式。

性能

DeepFM

FM

DNN

一些提示

• 为了获得合理的性能，您应该调整每个模型的参数。
• 您也可以尝试 ensemble（集成）这些模型，或将它们与其他模型（例如 XGBoost 或 LightGBM）集成。

参考文献

[1] DeepFM: A Factorization-Machine based Neural Network for CTR Prediction, Huifeng Guo, Ruiming Tang, Yunming Yey, Zhenguo Li, Xiuqiang He.

致谢

本项目从以下项目获得灵感：

• He Xiangnan 的 neural_factorization_machine
• Jian Zhang 的 YellowFin（yellowfin 优化器取自此处）

许可证

MIT

tensorflow-DeepFM 快速上手指南

环境准备

本项目基于 TensorFlow 实现，运行前请确保满足以下系统要求及依赖：

• 系统要求：Linux / Windows / macOS
• Python 版本：建议 Python 3.x
• 前置依赖：
  • TensorFlow
  • scikit-learn

安装步骤

1. 克隆项目代码到本地：

git clone https://github.com/ChenglongChen/tensorflow-DeepFM.git
cd tensorflow-DeepFM

2. 安装所需 Python 依赖包：

pip install tensorflow scikit-learn

基本使用

1. 数据格式准备

模型输入需要整理为以下格式（详见 example/DataReader.py）：

• Xi: 特征索引列表，[[ind1_1, ind1_2, ...], ...]
• Xv: 特征值列表，[[val1_1, val1_2, ...], ...]（支持 binary 或 float）
• y: 样本目标值（分类为 1/0，回归为数值）

2. 模型初始化与训练

以下是分类任务的最简使用示例：

import tensorflow as tf
from sklearn.metrics import roc_auc_score

# params
dfm_params = {
    "use_fm": True,
    "use_deep": True,
    "embedding_size": 8,
    "dropout_fm": [1.0, 1.0],
    "deep_layers": [32, 32],
    "dropout_deep": [0.5, 0.5, 0.5],
    "deep_layers_activation": tf.nn.relu,
    "epoch": 30,
    "batch_size": 1024,
    "learning_rate": 0.001,
    "optimizer_type": "adam",
    "batch_norm": 1,
    "batch_norm_decay": 0.995,
    "l2_reg": 0.01,
    "verbose": True,
    "eval_metric": roc_auc_score,
    "random_seed": 2017
}

# prepare training and validation data in the required format
Xi_train, Xv_train, y_train = prepare(...)
Xi_valid, Xv_valid, y_valid = prepare(...)

# init a DeepFM model
dfm = DeepFM(**dfm_params)

# fit a DeepFM model
dfm.fit(Xi_train, Xv_train, y_train)

# make prediction
dfm.predict(Xi_valid, Xv_valid)

# evaluate a trained model
dfm.evaluate(Xi_valid, Xv_valid, y_valid)

3. 高级功能

• 早停（Early Stopping）：

dfm.fit(Xi_train, Xv_train, y_train, Xi_valid, Xv_valid, y_valid, early_stopping=True)

• 回归任务：设置 loss_type 为 mse，并使用回归评估指标（如 mse 或 mae）。
• 组件控制：设置 use_fm 或 use_deep 为 False 可仅使用 FM 或 DNN 部分。

4. 运行示例

项目 example 文件夹包含了 Kaggle 竞赛数据的完整使用示例。下载数据放入 example/data 后，运行以下命令即可训练：

$ cd example
$ python main.py